巴 深 劉清堂 吳林靜 于欽春

（華中師范大學(xué) 人工智能教育學(xué)部，湖北武漢 430079）

一、引言

教育智能體（Pedagogical Agent）是存在于多媒體環(huán)境中的擬人形象，能夠傳遞學(xué)習(xí)內(nèi)容，并與學(xué)習(xí)者進(jìn)行交互[1][2]。貝茨（J.L.Bates）[3]于 1994年指出，教育智能體的情緒表達(dá)可以促使學(xué)習(xí)者相信他們?cè)谂c真實(shí)的“人”進(jìn)行交互，從而有效提升他們的學(xué)習(xí)投入度。在多媒體學(xué)習(xí)過(guò)程中，莫雷諾（R.Moreno）和梅耶（R.Mayer）[4]解釋道，數(shù)字化學(xué)習(xí)環(huán)境中的情緒元素，可能會(huì)影響學(xué)習(xí)者的動(dòng)機(jī)和情緒，從而對(duì)他們的信息處理過(guò)程產(chǎn)生調(diào)節(jié)作用。哈特菲爾德（E.Hatfield）[5]等進(jìn)一步提出，在社會(huì)交互過(guò)程中，情緒具有一定的感染性，即社會(huì)交互過(guò)程中某個(gè)參與者所表達(dá)的情緒，可能會(huì)引起其他參與者產(chǎn)生同樣的情緒。那么在多媒體學(xué)習(xí)環(huán)境中，考慮到教育智能體通常作為教師的形象出現(xiàn)，具備教師的多種社會(huì)功能，或許教育智能體所表現(xiàn)的情緒線索，也會(huì)感染學(xué)習(xí)者產(chǎn)生類似的情緒，從而實(shí)現(xiàn)情緒的調(diào)節(jié)功能。

然而，針對(duì)教育智能體積極情緒線索的實(shí)證研究發(fā)現(xiàn)，學(xué)習(xí)者在與教育智能體交互后，不僅沒(méi)有感知到積極情緒，甚至表現(xiàn)出一定程度的消極情緒[6][7][8]。對(duì)于這樣的結(jié)果，有研究者討論指出[9][10]，前期大部分關(guān)于教育智能體情緒的研究，僅僅關(guān)注視覺(jué)通道的情緒線索，極少考慮聽覺(jué)通道的情緒線索。然而，人類一般通過(guò)視覺(jué)和聽覺(jué)通道協(xié)同進(jìn)行情緒信息的傳遞與處理，兩個(gè)通道之間存在信息互補(bǔ)、增益的作用，以確保情緒感知的準(zhǔn)確性[11][12][13]。因此，若某一通道中缺少情緒線索，理論上可能會(huì)導(dǎo)致學(xué)習(xí)者無(wú)法準(zhǔn)確地感知、識(shí)別教育智能體所傳遞的情緒。

近期的實(shí)證研究發(fā)現(xiàn)，通過(guò)視覺(jué)和聽覺(jué)通道共同傳遞情緒線索的教育智能體，能夠有效地提升學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)[14][15]。不過(guò)，實(shí)驗(yàn)組和控制組的學(xué)習(xí)者對(duì)積極情緒感知的差異不是非常顯著。巴深[16]等人認(rèn)為，導(dǎo)致該結(jié)果產(chǎn)生的原因之一，可能在于現(xiàn)有測(cè)量工具的局限性。穆爾（K.Muir）[17]等人的研究也表明，人類的情緒感知會(huì)隨時(shí)間的推進(jìn)而逐漸衰弱。也就是說(shuō)，特定的情緒線索可能會(huì)引發(fā)學(xué)習(xí)者情緒的瞬時(shí)變化，刺激學(xué)習(xí)者積極地投入到學(xué)習(xí)過(guò)程中，提升他們的學(xué)習(xí)表現(xiàn)。但是，由于情緒發(fā)生的瞬時(shí)性和衰弱性，現(xiàn)有一般的結(jié)果性測(cè)量手段（如問(wèn)卷、訪談）可能無(wú)法準(zhǔn)確地記錄學(xué)習(xí)者情緒的動(dòng)態(tài)變化特征。梅拉賓（A.Mehrabian）[18]曾經(jīng)提出，面部表情是人類情緒輸出的主要媒介。一方面，隨著近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域的迅速發(fā)展，面部表情識(shí)別技術(shù)為研究者測(cè)量、理解人類即時(shí)的情緒變化，提供了一種更加高效的途徑，拓展了對(duì)多媒體學(xué)習(xí)過(guò)程中學(xué)習(xí)者情緒反應(yīng)的理解；另一方面，烏洛德科夫斯基（R.J.Wlodkowski）[19]指出，學(xué)習(xí)者的積極或消極情緒也會(huì)影響他們的學(xué)習(xí)動(dòng)機(jī)，即通過(guò)學(xué)習(xí)動(dòng)機(jī)的測(cè)量，間接地反映學(xué)習(xí)者的情緒感知。

基于此，本研究旨在面向多媒體學(xué)習(xí)環(huán)境，基于教育智能體進(jìn)行雙通道的情緒線索設(shè)計(jì)，結(jié)合面部表情識(shí)別和自報(bào)告量表工具，進(jìn)一步探究高校學(xué)習(xí)者在不同情境下的過(guò)程性情緒反應(yīng)、結(jié)果性情緒感知以及他們的學(xué)習(xí)動(dòng)機(jī)。其研究結(jié)果既可以加深當(dāng)前對(duì)教育智能體情緒線索設(shè)計(jì)與學(xué)習(xí)者情緒、動(dòng)機(jī)等因素關(guān)系的理解；也能夠擴(kuò)展相關(guān)研究領(lǐng)域情緒測(cè)量的手段，為探索學(xué)習(xí)者過(guò)程性、及時(shí)性的情緒反應(yīng)提供新的視角。

二、相關(guān)研究

（一）媒體學(xué)習(xí)的“認(rèn)知—情緒”理論

媒體學(xué)習(xí)的“認(rèn)知—情緒”理論（The Cognitive-Affective Theory of Learning with Media，CATLM），闡釋了多媒體學(xué)習(xí)環(huán)境中學(xué)習(xí)者接收、處理信息的基本流程與機(jī)制[20]。該理論提出了多媒體學(xué)習(xí)的三項(xiàng)基本假設(shè)，分別為雙通道假設(shè)（Dual-Channel）、有限容量假設(shè)（Limited Capacity）、主動(dòng)處理假設(shè)（Active Processing）。其中，雙通道假設(shè)指出，學(xué)習(xí)者一般使用視覺(jué)和聽覺(jué)兩個(gè)通道共同進(jìn)行信息處理，兩個(gè)通道在信息選擇時(shí)相對(duì)獨(dú)立，在信息整合時(shí)相互補(bǔ)充，協(xié)同建立對(duì)信息的完整感知。有限容量假設(shè)認(rèn)為，學(xué)習(xí)者的工作記憶容量有限，在一段時(shí)間內(nèi)只能處理有限的信息。若所提供的信息量超過(guò)學(xué)習(xí)者的處理能力，則會(huì)導(dǎo)致信息丟失。另外，主動(dòng)處理假設(shè)認(rèn)為，學(xué)習(xí)者通過(guò)將工作記憶中的新信息與長(zhǎng)時(shí)記憶中的已有知識(shí)進(jìn)行整合，完成主動(dòng)地意義構(gòu)建，而非被動(dòng)地信息接收。以上三項(xiàng)基本假設(shè)，描述了多媒體學(xué)習(xí)中學(xué)習(xí)者選擇、組織和整合信息的完整認(rèn)知過(guò)程。

在此基礎(chǔ)上，莫雷諾和梅耶又進(jìn)一步指出，多媒體學(xué)習(xí)不只是單一的認(rèn)知過(guò)程，該過(guò)程還受到動(dòng)機(jī)和情緒等因素的影響。隨著多媒體技術(shù)支持能力的提升，多媒體學(xué)習(xí)環(huán)境中可以呈現(xiàn)各類攜帶社會(huì)線索的交互元素，例如，擁有面部表情、手勢(shì)的教育智能體等[21]。為了充分考慮這些交互性元素可能帶來(lái)的影響，該研究在CATLM 基礎(chǔ)上擴(kuò)充了若干新的假設(shè)——情緒動(dòng)機(jī)假設(shè)，即由社會(huì)線索所引起的學(xué)習(xí)者積極情緒和動(dòng)機(jī)，會(huì)促使他們主動(dòng)地處理信息，達(dá)到更好的學(xué)習(xí)效果。由于教育智能體是多媒體學(xué)習(xí)環(huán)境中典型的交互性元素，可以呈現(xiàn)各種社會(huì)和情緒線索。因此，該研究將媒體學(xué)習(xí)的“認(rèn)知—情緒”理論作為指導(dǎo)性框架，旨在基于CATLM 中的情緒動(dòng)機(jī)假設(shè)，探討教育智能體的情緒線索對(duì)學(xué)習(xí)者情緒和學(xué)習(xí)動(dòng)機(jī)的影響。

（二）單通道情緒線索對(duì)多媒體學(xué)習(xí)的影響

有研究基于媒體學(xué)習(xí)的“認(rèn)知—情緒”理論，將教育智能體的情緒線索定義為：由教育智能體所傳遞的、言語(yǔ)或非言語(yǔ)信息中包含的表示喜好的信息，如教育智能體的面部表情、身體姿態(tài)、語(yǔ)音語(yǔ)調(diào)等。并認(rèn)為教育智能體所傳遞的積極情緒線索，或許可以刺激學(xué)習(xí)者產(chǎn)生類似的積極情緒，促使他們更加主動(dòng)地參與到學(xué)習(xí)過(guò)程中，從而獲得更好的學(xué)習(xí)效果。根據(jù)謝里（K.Cherry）[22]的論述，學(xué)習(xí)者情緒可以分為主觀感知和行為反應(yīng)，主觀感知描述了學(xué)習(xí)者作為學(xué)習(xí)主體的一種體驗(yàn)，而行為反應(yīng)則是學(xué)習(xí)者在某一時(shí)刻主觀感知的外在表現(xiàn)。該研究對(duì)已有的實(shí)證證據(jù)進(jìn)行了綜述，分析教育智能體的情緒線索對(duì)學(xué)習(xí)者感知和反應(yīng)的影響，并探討其內(nèi)在機(jī)制。

基姆（Y.Kim）[23]等研究了教育智能體對(duì)緩解學(xué)習(xí)者數(shù)學(xué)學(xué)習(xí)焦慮的作用。他們?cè)O(shè)計(jì)了一種基于教育智能體的教學(xué)材料，在教育智能體具身形象的基礎(chǔ)上，通過(guò)文本向?qū)W習(xí)者傳遞緩解焦慮的鼓勵(lì)性信息。研究者在基于教育智能體的學(xué)習(xí)材料中嵌入鼓勵(lì)性文本，檢驗(yàn)其對(duì)學(xué)習(xí)者的表現(xiàn)和焦慮程度的影響。研究者將138 名初中學(xué)習(xí)者分為兩組，其中僅一組學(xué)習(xí)者在學(xué)習(xí)過(guò)程中接收了鼓勵(lì)性的信息。實(shí)驗(yàn)結(jié)果顯示，兩個(gè)小組的學(xué)習(xí)者參與學(xué)習(xí)后，焦慮情緒沒(méi)有產(chǎn)生顯著的差異。

雷梅羅·霍爾（Romero-Hall）[24]等研究了教育智能體情緒表達(dá)對(duì)大學(xué)生學(xué)習(xí)非洲歷史課程的影響。三組學(xué)習(xí)者分別配以富有情緒表達(dá)的教育智能體、沒(méi)有情緒表達(dá)的教育智能體和無(wú)具身形象僅有語(yǔ)音的教育智能體。該研究中教育智能體的具身形象為身著正裝的青年男性，它能夠通過(guò)非正式性語(yǔ)音向?qū)W習(xí)者傳遞信息。同時(shí)，有情緒表達(dá)的教育智能體還會(huì)呈現(xiàn)預(yù)設(shè)的面部表情。研究者對(duì)學(xué)習(xí)者的成績(jī)和情緒進(jìn)行分析時(shí)發(fā)現(xiàn)，接收積極情緒線索的學(xué)習(xí)者不僅成績(jī)顯著低于其它小組，甚至產(chǎn)生了更多的消極情緒。

有學(xué)者比較了帶有微笑表情與中性表情的教育智能體，對(duì)大學(xué)生學(xué)習(xí)C 語(yǔ)言的情緒和學(xué)習(xí)表現(xiàn)的影響[25]。在該研究中，兩種智能體均能通過(guò)機(jī)器合成的語(yǔ)音進(jìn)行信息傳遞。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，兩組學(xué)習(xí)者在知識(shí)理解測(cè)試中的表現(xiàn)沒(méi)有顯著差異，而接收了教育智能體積極情緒的學(xué)習(xí)者反而報(bào)告了更多的消極情緒。此外，研究者還發(fā)現(xiàn)，學(xué)習(xí)者之所以報(bào)告消極情緒，是因?yàn)槭撬麄兏杏X(jué)教育智能體的笑容比較“虛偽”。

克萊默（N.C.Kr?mer）[26]等研究了教育智能體的親善行為（微笑、點(diǎn)頭），對(duì)成人學(xué)習(xí)者解決數(shù)學(xué)問(wèn)題的影響。該研究中的教育智能體沒(méi)有進(jìn)行語(yǔ)音或文本的講解。結(jié)果表明，有親善行為的小組比沒(méi)有接收親善行為的小組，有顯著更好的解題表現(xiàn)，不過(guò)兩個(gè)小組所報(bào)告的積極情緒沒(méi)有顯著差異。

相關(guān)兩項(xiàng)研究將面部表情和文本消息兩種情緒線索結(jié)合，探討它們對(duì)學(xué)習(xí)者的共同影響[27][28]。兩項(xiàng)研究中的教育智能體均為卡通形象，通過(guò)文本向?qū)W習(xí)者傳遞信息；兩項(xiàng)研究的主要差異在于一項(xiàng)采用課堂學(xué)習(xí)情景；另一項(xiàng)則選擇了一種基于游戲的學(xué)習(xí)方式。兩項(xiàng)研究均以大學(xué)生作為研究對(duì)象，將他們分配至三種情形（積極情緒組、中性情緒組或無(wú)具身形象組），學(xué)習(xí)信息素養(yǎng)方面的內(nèi)容。兩項(xiàng)研究的結(jié)果一致表明，三組學(xué)習(xí)者的知識(shí)保留成績(jī)沒(méi)有顯著差異；積極情緒組的學(xué)習(xí)者報(bào)告了更高的學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)興趣。研究者認(rèn)為，該研究的局限性之一是缺乏語(yǔ)音線索，語(yǔ)音線索的加入有可能會(huì)提升他們的學(xué)習(xí)表現(xiàn)。

（三）雙通道情緒線索對(duì)多媒體學(xué)習(xí)的影響

有研究設(shè)計(jì)了一種教育智能體，能夠通過(guò)面部表情、手勢(shì)、語(yǔ)音和文本在視覺(jué)和聽覺(jué)通道共同傳遞情緒線索[29]。他們將72 名大學(xué)生實(shí)驗(yàn)對(duì)象分別安排在積極情緒小組和中性情緒小組中學(xué)習(xí)基本的編程語(yǔ)言。該研究發(fā)現(xiàn)，傳遞積極情緒線索的教育智能體，顯著地提升了學(xué)習(xí)者的積極情緒、學(xué)習(xí)動(dòng)機(jī)和測(cè)試表現(xiàn)。同時(shí)，兩組研究對(duì)象的認(rèn)知負(fù)荷沒(méi)有呈現(xiàn)出顯著差異，即情緒線索沒(méi)有造成學(xué)習(xí)者的認(rèn)知過(guò)載。

巴深[30]等在前期研究的基礎(chǔ)上，探討了教育智能體的雙通道情緒線索對(duì)認(rèn)知學(xué)習(xí)的影響。他將大學(xué)生實(shí)驗(yàn)對(duì)象分至三個(gè)小組學(xué)習(xí)問(wèn)題解決相關(guān)的知識(shí)，并給各小組分配了積極情緒、中性情緒和無(wú)具身形象的教育智能體。實(shí)驗(yàn)發(fā)現(xiàn)，具有積極情緒的教育智能體可以顯著提升學(xué)習(xí)表現(xiàn)。但是教育智能體的積極情緒線索，對(duì)學(xué)習(xí)者積極情緒的促進(jìn)效果不夠明顯。

（四）研究述評(píng)與問(wèn)題提出

通過(guò)對(duì)近年來(lái)實(shí)證研究結(jié)果的分析，研究者發(fā)現(xiàn)，使用雙通道情緒線索的教育智能體可以有效地促進(jìn)學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)，而僅采用單通道的研究則呈現(xiàn)出不一致的結(jié)果。結(jié)合媒體學(xué)習(xí)的“認(rèn)知—情緒”理論，學(xué)習(xí)表現(xiàn)的提升可能是因?yàn)閷W(xué)習(xí)者察覺(jué)到教育智能體的積極情緒線索后，自身的積極情緒得到促進(jìn)，從而更加主動(dòng)地參與信息處理過(guò)程。然而，已有研究也發(fā)現(xiàn)，接收積極情緒線索的學(xué)習(xí)者，盡管他們的學(xué)習(xí)表現(xiàn)發(fā)生了改變，但并不總能獲得積極的情緒感受。究其原因可能在于學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)不僅與情緒線索設(shè)計(jì)有關(guān)，還取決于情緒的測(cè)量方法。

穆爾[31]等提到，人類的情緒感受會(huì)隨時(shí)間逐步減弱，而且積極的情緒感受往往比消極的情緒感受衰弱得更快。多媒體學(xué)習(xí)材料中的情緒線索設(shè)計(jì)往往不是連續(xù)的，而是結(jié)合學(xué)習(xí)內(nèi)容，在適當(dāng)?shù)奈恢迷O(shè)置情緒刺激。僅僅依靠問(wèn)卷等事后測(cè)量方法，可能無(wú)法準(zhǔn)確、真實(shí)地反映學(xué)習(xí)者的情緒變化規(guī)律。另一方面，若干研究提出在人際交互過(guò)程中，面部表情是情緒表達(dá)的首要媒介[32][33]。近年來(lái)隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，研究者們開始嘗試通過(guò)面部表情分析的方法，識(shí)別人類即時(shí)的情緒反應(yīng)，并獲得了較為準(zhǔn)確的結(jié)果[34][35]。

基于上述研究，本研究擬結(jié)合自報(bào)告方法，基于計(jì)算機(jī)視覺(jué)的方法，探討學(xué)習(xí)者在多媒體學(xué)習(xí)中受教育智能體情緒線索影響似內(nèi)在機(jī)制。研究的問(wèn)題如圖 1所示，主要包括：（1）教育智能體的情緒線索在何種程度上會(huì)影響學(xué)習(xí)者的情緒感知？（2）教育智能體情緒線索在何種程度上會(huì)影響學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)？（3）教育智能體情緒線索在何種程度上會(huì)影響學(xué)習(xí)者的情緒反應(yīng)？

三、研究方法

（一）研究設(shè)計(jì)

本研究采用被試者間的實(shí)驗(yàn)設(shè)計(jì)方法，設(shè)置了兩個(gè)實(shí)驗(yàn)組和一個(gè)控制組。實(shí)驗(yàn)的自變量是教育智能體類型（①具身形象—積極情緒組；②具身形象—中性情緒組；③無(wú)具身形象—中性情緒組），因變量是學(xué)習(xí)者的結(jié)果性情緒感知、過(guò)程性情緒反應(yīng)以及學(xué)習(xí)動(dòng)機(jī)。在實(shí)驗(yàn)過(guò)程中，實(shí)驗(yàn)組一分配了具有雙通道情緒線索的教育智能體，實(shí)驗(yàn)組二分配了中性情緒的教育智能體，控制組則沒(méi)有具身形象，僅有不含情緒線索的語(yǔ)音。

（二）教育智能體和情緒線索的設(shè)計(jì)

本研究使用Media Semantics Character Builder（Version 5.4.8）進(jìn)行教育智能體的設(shè)計(jì)與開發(fā)[36]。教育智能體被設(shè)計(jì)為35 歲左右身著正裝的男性教師形象。根據(jù)章儀等人的實(shí)證研究發(fā)現(xiàn)，視頻課程中教師形象位于屏幕右側(cè)時(shí)，相比在屏幕左側(cè)和中部，能夠產(chǎn)生更好的學(xué)習(xí)效果。因此，研究也將教育智能體放置于屏幕的右側(cè)。同時(shí)，為了避免教育智能體身體和手部可能產(chǎn)生的潛在干擾，僅呈現(xiàn)了其肩部以上形象。如圖2所示，學(xué)習(xí)資源整體寬和高分別為9 個(gè)和6 個(gè)單位長(zhǎng)度，而教育智能體的寬和高分別為3個(gè)和2 個(gè)單位長(zhǎng)度，故教育智能體所處的長(zhǎng)方形面積約占屏幕整體面積的九分之一，教育智能體的中心距離屏幕中心的空間長(zhǎng)度約為3.6 個(gè)單位。教育智能體具有自然地眨眼和輕微地頭部晃動(dòng)，以模仿人的自然狀態(tài)。此外，教育智能體在說(shuō)話時(shí)嘴唇也有同步的動(dòng)作。

在實(shí)驗(yàn)中，教育智能體通過(guò)面部表情、語(yǔ)音和文本來(lái)呈現(xiàn)情緒線索。對(duì)于面部表情，積極情緒線索組中的教育智能體會(huì)呈現(xiàn)微笑、眨眼和建議性面部表情，如圖2所示。中性情緒線索組中的教育智能體則保持中性的面部表情。對(duì)于語(yǔ)音線索，本研究使用百度人工智能開放平臺(tái)提供的語(yǔ)音引擎進(jìn)行語(yǔ)音合成。積極情緒線索組則采用了富有情緒的男性聲音，而中性情緒線索組和無(wú)具身形象組則采用了標(biāo)準(zhǔn)無(wú)情緒的男性聲音。對(duì)于文本提示，實(shí)驗(yàn)被試在回答了教程中插入的兩個(gè)多項(xiàng)選擇題后，會(huì)收到相應(yīng)的反饋。積極情緒線索組的實(shí)驗(yàn)被試會(huì)收到肯定和鼓舞性的回答，例如“做得好！ 這是查找信息非常有用的方式”。與此同時(shí)，中性情緒線索組和無(wú)具身形象組的實(shí)驗(yàn)被試會(huì)收到相對(duì)中立的答復(fù)，例如，“好的”和“我知道了”。

（三）實(shí)驗(yàn)學(xué)習(xí)內(nèi)容

實(shí)驗(yàn)被試在實(shí)驗(yàn)中收到了Big 6 問(wèn)題解決模型的教程。該模型定義了基于信息的問(wèn)題解決的六個(gè)階段，包括任務(wù)定義、信息搜索策略、位置和訪問(wèn)、信息的使用、綜合和評(píng)估。學(xué)習(xí)內(nèi)容整體的結(jié)構(gòu)安排如圖3所示。學(xué)習(xí)內(nèi)容均以普通話呈現(xiàn)。

（四）測(cè)量工具

本研究使用的測(cè)量工具包括問(wèn)卷、面部表情分析工具。問(wèn)卷記錄了學(xué)習(xí)者的人口統(tǒng)計(jì)學(xué)信息，學(xué)習(xí)完成后的情緒感知和學(xué)習(xí)動(dòng)機(jī)。人口統(tǒng)計(jì)學(xué)信息包括參與者的學(xué)號(hào)、年齡、性別，用于描述性目的。

學(xué)習(xí)者的情緒感知測(cè)量項(xiàng)目選自控制價(jià)值理論中的學(xué)習(xí)成就情緒，該理論提出了與學(xué)習(xí)活動(dòng)最相關(guān)的若干種情緒[37]。本研究根據(jù)教育智能體和多媒體學(xué)習(xí)的特征，從學(xué)習(xí)成就情緒中選取了愉悅（Enjoyment）、自 豪（Pride）、焦 慮（Anxiety）和 絕 望（Hopelessness）四種情緒進(jìn)行測(cè)量。首先，依據(jù)情緒感染的概念，教育智能體的微笑表情可能會(huì)提升學(xué)習(xí)者的愉悅感[38][39]。兩項(xiàng)已有的實(shí)證研究也證實(shí)了情緒線索能夠提升學(xué)習(xí)者的愉悅感。其次，自豪感與學(xué)習(xí)者的內(nèi)在動(dòng)機(jī)存在一定聯(lián)系[40]。但鑒于研究的情緒線索包括鼓勵(lì)性的話語(yǔ)，有可能會(huì)影響學(xué)習(xí)者的自豪感。第三，焦慮情緒是學(xué)習(xí)中最常被研究的情緒，因此也被納入學(xué)習(xí)者的情緒感知測(cè)量?jī)?nèi)容中[41]。但是，取決于其激活程度，焦慮情緒既有可能激活學(xué)習(xí)，又有可能阻礙學(xué)習(xí)[42]。因此，研究進(jìn)一步納入絕望情緒，作為焦慮情緒的補(bǔ)充測(cè)量。實(shí)驗(yàn)被試使用李克特（Likert）九點(diǎn)量表對(duì)他們所感知到的每種情緒進(jìn)行評(píng)分，其中1 分為最弱，而9 分為最強(qiáng)。研究者使用克隆巴赫系數(shù)（Cronbach’s α）計(jì)算所有量表的信度，其中情緒感知量表的信度為0.81。

為了測(cè)量學(xué)習(xí)者在不同小組完成學(xué)習(xí)后動(dòng)機(jī)的差異，研究者使用了賓特里奇（P.R.Pintrich）提出的學(xué)習(xí)動(dòng)機(jī)策略問(wèn)卷（The Motivated Strategies for Learning Questionnaire，MSLQ）[43]。該問(wèn)卷主要用于測(cè)量大學(xué)生對(duì)于學(xué)習(xí)某一課程的動(dòng)機(jī)傾向和學(xué)習(xí)策略的使用情況。研究者選取該問(wèn)卷用于測(cè)量動(dòng)機(jī)傾向的部分，包括學(xué)習(xí)者的內(nèi)在目標(biāo)、外在目標(biāo)、任務(wù)價(jià)值、學(xué)習(xí)信念、自我效能、技術(shù)效能和測(cè)試焦慮。此外，對(duì)該問(wèn)卷的表述和用詞進(jìn)行了一定的調(diào)整，以適應(yīng)基于教育智能體的多媒體學(xué)習(xí)過(guò)程。最終，學(xué)習(xí)動(dòng)機(jī)量表各指標(biāo)的克隆巴赫系數(shù)均值為0.85。

為了分析被試參與實(shí)驗(yàn)學(xué)習(xí)的實(shí)時(shí)情緒，研究者在獲得被試同意的前提下，通過(guò)前置攝像頭每10秒種記錄了他們的面部表情。隨后，采用百度人工智能開放平臺(tái)所提供的人臉檢測(cè)與屬性分析功能分析他們的實(shí)時(shí)情緒。該功能所能識(shí)別的情緒共包含9種，分別為憤怒、厭惡、恐懼、高興、傷心、驚訝、嘟嘴、鬼臉和無(wú)情緒。

（五）實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)被試來(lái)自中國(guó)中部的一所師范大學(xué)現(xiàn)代教育技術(shù)課程的66 名大三學(xué)生。他們分別屬于9 個(gè)不同的專業(yè)，如化學(xué)、數(shù)學(xué)和藝術(shù)。由于該所大學(xué)對(duì)在線學(xué)習(xí)的重視，所有實(shí)驗(yàn)被試都具備在線學(xué)習(xí)的必要技能。研究者隨機(jī)地將22 人歸入實(shí)驗(yàn)組一，22 人歸入實(shí)驗(yàn)組二，其余22 人歸入控制組。但是，由于個(gè)人原因，有4 名被試未能完成所有必需的程序，研究者排除了不完整的實(shí)驗(yàn)數(shù)據(jù)。最終樣本包括41 位（66%）女性和 21 位（34%）男性，平均年齡及標(biāo)準(zhǔn)差分別為21.26 和0.571，實(shí)驗(yàn)組一與實(shí)驗(yàn)組二經(jīng)篩選后分別包含20 名被試對(duì)象。

（六）實(shí)驗(yàn)流程

研究者首先向被試介紹了調(diào)查的目的和主要流程。在征得被試的口頭同意后，研究者會(huì)指導(dǎo)他們打開一個(gè)網(wǎng)頁(yè)鏈接，按照里面的教程進(jìn)行學(xué)習(xí)。在完成教程的學(xué)習(xí)后，每個(gè)被試都會(huì)按照要求完成問(wèn)卷。在實(shí)驗(yàn)結(jié)束后，每名被試都獲得了一定的現(xiàn)金獎(jiǎng)勵(lì)。

四、實(shí)驗(yàn)相關(guān)結(jié)果

針對(duì)研究問(wèn)題（1）和研究問(wèn)題（3），本研究使用了方差分析方法（Analysis of Variance，ANOVA）比較三個(gè)小組的結(jié)果性情緒感知和學(xué)習(xí)動(dòng)機(jī)的總體差異，以及各個(gè)子維度的差異。而對(duì)于研究問(wèn)題（2），使用了可視化的方法，通過(guò)熱力圖將每個(gè)時(shí)刻各個(gè)情緒的人數(shù)按照顏色深淺呈現(xiàn)出來(lái)，直觀地表示三個(gè)小組學(xué)習(xí)者情緒的動(dòng)態(tài)變化。

對(duì)于學(xué)習(xí)者的情緒感知，F(xiàn) 檢驗(yàn)表明三個(gè)小組在愉悅（F（2，59）=3.25，p=0.046，ω2=0.068）和自豪（F（2，59）=3.52，p=0.036，ω2=0.075）維度存在統(tǒng)計(jì)學(xué)上顯著的差異；而在兩項(xiàng)消極情緒焦慮（F（2，59）=1.77，p=0.180）和絕望（F（2，59）=1.48，p=0.236）維度，沒(méi)有統(tǒng)計(jì)學(xué)上的顯著差異，如表1所示。因此，研究者隨后對(duì)愉悅和自豪兩個(gè)維度使用Tukey 事后檢驗(yàn)，并進(jìn)一步比較各小組兩兩之間的差異。結(jié)果顯示，實(shí)驗(yàn)組1 在自豪維度統(tǒng)計(jì)學(xué)上顯著高于實(shí)驗(yàn)組2（MD=0.95，p=0.041），如表 1所示。此外，研究者沒(méi)有發(fā)現(xiàn)其它統(tǒng)計(jì)學(xué)上的顯著差異。

對(duì)于學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，F(xiàn) 檢驗(yàn)表明三個(gè)小組在內(nèi)在目標(biāo)（F（2，59）=5.74，p=0.005，ω2=0.075）和任務(wù)價(jià)值（F（2，59）=6.70，p=0.002，ω2=0.085）維度存在統(tǒng)計(jì)學(xué)上顯著的差異，而在其它學(xué)習(xí)動(dòng)機(jī)維度沒(méi)有統(tǒng)計(jì)學(xué)上顯著的差異，如表1所示。因此，本文隨后對(duì)內(nèi)在目標(biāo)和任務(wù)價(jià)值兩個(gè)維度使用Tukey 事后檢驗(yàn)，進(jìn)一步比較各小組兩兩之間的差異。結(jié)果顯示，實(shí)驗(yàn)組1 在內(nèi)在目標(biāo)維度統(tǒng)計(jì)學(xué)上顯著高于實(shí)驗(yàn)組2（MD=0.60，p=0.007）和控制組（MD=0.50，p=0.025），實(shí)驗(yàn)組1 在任務(wù)價(jià)值維度上顯著高于實(shí)驗(yàn)組2（MD=0.55，p=0.002）和控制組（MD=0.39，p=0.031），如表2所示。

表1 三個(gè)小組因變量的平均值和標(biāo)準(zhǔn)差

表2 事后組間比較的平均差和顯著值

對(duì)于通過(guò)面部表情測(cè)量的學(xué)習(xí)者實(shí)時(shí)情緒，研究者按照每十秒一次進(jìn)行截圖采樣，在總時(shí)長(zhǎng)約360秒的課程中共獲得37 次采樣數(shù)據(jù)。通過(guò)分析每個(gè)采樣點(diǎn)各小組學(xué)習(xí)者的面部表情，研究者發(fā)現(xiàn)，嘟嘴和鬼臉表情幾乎沒(méi)有出現(xiàn)，因此排除在可視化分析之外。如圖4所示，每一個(gè)方塊代表一個(gè)采樣點(diǎn)，方塊顏色的深度表示某種表情/情緒在該采樣點(diǎn)出現(xiàn)的次數(shù)。由于各小組人數(shù)不完全一樣，因此，研究通過(guò)公式（1）對(duì)表情出現(xiàn)的次數(shù)依照小組人數(shù)進(jìn)行了標(biāo)準(zhǔn)化處理，方塊顏色最淺時(shí)值為0，代表某表情在該時(shí)刻未出現(xiàn)，而方塊顏色最深時(shí)值為1，表示在該時(shí)刻所有學(xué)習(xí)者都是同一表情。

研究者通過(guò)熱力圖的可視化發(fā)現(xiàn)，三個(gè)小組中的學(xué)習(xí)者整體上在課程進(jìn)行過(guò)程中傾向于保持無(wú)情緒的狀態(tài)。不過(guò)對(duì)于實(shí)驗(yàn)組1，研究者發(fā)現(xiàn)，當(dāng)教育智能體向?qū)W習(xí)者傳遞了積極的情緒線索時(shí)，學(xué)習(xí)者會(huì)在短時(shí)間內(nèi)呈現(xiàn)出高興的面部表情。而對(duì)于實(shí)驗(yàn)組2 和控制組，當(dāng)課程進(jìn)行到同樣的時(shí)間節(jié)點(diǎn)時(shí)，學(xué)習(xí)者的面部表情變化沒(méi)有呈現(xiàn)明顯的規(guī)律，仍然以無(wú)情緒狀態(tài)為主。

五、分析與討論

本研究檢驗(yàn)了傳遞情緒線索的教育智能體對(duì)學(xué)習(xí)者情緒和學(xué)習(xí)動(dòng)機(jī)的影響，并通過(guò)兩種方法分別測(cè)量了學(xué)習(xí)者的過(guò)程性情緒反應(yīng)和結(jié)果性情緒感知。其中，通過(guò)組間比較的實(shí)驗(yàn)設(shè)計(jì)方法，發(fā)現(xiàn)了若干有價(jià)值的結(jié)果。

首先，針對(duì)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，研究發(fā)現(xiàn)分配積極情緒教育智能體的學(xué)習(xí)者，報(bào)告了顯著性更高的內(nèi)在目標(biāo)傾向，表明傳遞積極情緒的教育智能體可以提升學(xué)習(xí)者對(duì)學(xué)習(xí)材料的好奇心與興趣，以理解學(xué)習(xí)內(nèi)容與提升自我能力為目標(biāo)，主動(dòng)地參與到學(xué)習(xí)過(guò)程中。結(jié)合社會(huì)代理理論（Social Agency Theory），該結(jié)果產(chǎn)生的機(jī)制也可以解釋為，教育智能體呈現(xiàn)的積極情緒線索激活了學(xué)習(xí)者的社會(huì)反饋，學(xué)習(xí)者認(rèn)為他們?cè)谂c自己平等的社會(huì)同伴進(jìn)行交互，因而會(huì)更加積極、投入地接收、處理對(duì)方所傳遞的信息。同時(shí)，該結(jié)果符合相關(guān)研究發(fā)現(xiàn)[44]，即教育智能體所傳遞的情緒線索，能夠激勵(lì)學(xué)習(xí)者主動(dòng)迎接學(xué)習(xí)任務(wù)中的挑戰(zhàn)，提升學(xué)習(xí)者對(duì)于學(xué)習(xí)內(nèi)容的好奇心，并激發(fā)學(xué)習(xí)者對(duì)于掌握相關(guān)知識(shí)的決心。對(duì)任務(wù)價(jià)值題項(xiàng)的比較進(jìn)一步印證了這一觀點(diǎn)，實(shí)驗(yàn)組1 的學(xué)習(xí)者對(duì)題項(xiàng)“我對(duì)該學(xué)習(xí)材料的內(nèi)容非常感興趣”的評(píng)分高于其它小組，說(shuō)明教育智能體在學(xué)習(xí)過(guò)程中的情緒線索設(shè)計(jì)，能夠提升學(xué)習(xí)者的學(xué)習(xí)興趣，在學(xué)習(xí)內(nèi)容一樣的情況下，可以有效地吸引學(xué)習(xí)者的注意力。

相反，學(xué)習(xí)者在外在目標(biāo)維度上沒(méi)有顯著差異，究其原因可能在于，學(xué)習(xí)者在本次實(shí)驗(yàn)中的表現(xiàn)與他們的學(xué)業(yè)成績(jī)沒(méi)有直接關(guān)系，而且無(wú)論他們表現(xiàn)優(yōu)劣，在實(shí)驗(yàn)完成后都可以獲得同樣的參與獎(jiǎng)勵(lì)，因此沒(méi)有外部因素驅(qū)使他們更加努力地進(jìn)行學(xué)習(xí)。

而對(duì)于學(xué)習(xí)信念、自我效能和技術(shù)效能，研究結(jié)果表明，學(xué)習(xí)者在這三個(gè)維度上沒(méi)有出現(xiàn)顯著差異與這三個(gè)維度本身的性質(zhì)相關(guān)。學(xué)習(xí)者的信念以及他們對(duì)自身能力的感知屬于一種長(zhǎng)期狀態(tài)，不容易因短暫刺激影響而發(fā)生大幅改變[45]。同時(shí)，因?yàn)楸敬螌W(xué)習(xí)材料所涉及的內(nèi)容難度適中，所以無(wú)論是否有教育智能體的積極情緒線索存在，學(xué)習(xí)者普遍認(rèn)為他們能較順利地完成學(xué)習(xí)，掌握相關(guān)知識(shí)。對(duì)于測(cè)試焦慮，不同小組未出現(xiàn)顯著差異的原因與上述其它變量類似，即該學(xué)習(xí)內(nèi)容的完成并不會(huì)對(duì)學(xué)習(xí)者造成過(guò)大的壓力。

針對(duì)學(xué)習(xí)者自報(bào)告的結(jié)果性情緒感知，事后檢驗(yàn)的分析結(jié)果顯示，實(shí)驗(yàn)組1 僅在自豪情緒上顯著高于實(shí)驗(yàn)組2，而三個(gè)小組在其它情緒測(cè)量項(xiàng)目上均未產(chǎn)生顯著差異?？紤]到實(shí)驗(yàn)組1 分配的教育智能體在學(xué)習(xí)過(guò)程中多次呈現(xiàn)了愉悅的情緒狀態(tài)，該結(jié)果與人際交互間情緒感染的假設(shè)存在部分偏差。相較于相關(guān)研究結(jié)果[46][47][48]，即教育智能體的積極情緒可以引發(fā)學(xué)習(xí)者積極情緒的變化，研究結(jié)果的主要差異，也在于學(xué)習(xí)者所感知的愉悅情緒并沒(méi)有在小組間出現(xiàn)顯著差異。從統(tǒng)計(jì)分析的視角來(lái)看，根據(jù)洛馬克斯（R.G.Lomax）的解釋，事后檢驗(yàn)對(duì)于顯著性的要求更加嚴(yán)格[49]。換言之，不同小組間在愉悅情緒的感知上可能存在差異，但這種差異可能不夠明顯，未達(dá)到顯著的結(jié)果。另一方面，事后檢驗(yàn)的結(jié)果顯示，三個(gè)小組在兩項(xiàng)消極情緒上沒(méi)有顯著的差異，說(shuō)明實(shí)驗(yàn)中的教育智能體情緒線索的設(shè)計(jì)形式不會(huì)引發(fā)學(xué)習(xí)者的反感，這從側(cè)面表明雙通道的情緒線索比單通道的情緒線索更合適。

盡管通過(guò)問(wèn)卷可以在一定程度上測(cè)量學(xué)習(xí)者的情緒感受，但考慮到他們情緒的衰弱性和波動(dòng)性[50]，研究嘗試通過(guò)面部表情分析的方法，測(cè)量學(xué)習(xí)者的過(guò)程性情緒，以拓展現(xiàn)有研究對(duì)學(xué)習(xí)者在多媒體學(xué)習(xí)中情緒的理解。通過(guò)對(duì)三個(gè)小組不同時(shí)刻情緒分布的比較，發(fā)現(xiàn)整體上呈現(xiàn)積極情緒線索的教育智能體，引發(fā)實(shí)驗(yàn)組1 的學(xué)習(xí)者產(chǎn)生了更多面部表情的變化，尤其是表征高興的面部表情，意味著該小組的學(xué)習(xí)者相比其他兩個(gè)小組呈現(xiàn)出更多的積極情緒。該結(jié)果支持哈特菲爾德（E.Hatfield）等人提出的情緒感染概念[51]，說(shuō)明在教育智能體與學(xué)習(xí)者的交互中，也存在類似的作用效果。

通過(guò)對(duì)實(shí)驗(yàn)組1 的面部表情分布熱力圖進(jìn)行更為細(xì)致地分析，研究進(jìn)而發(fā)現(xiàn)三點(diǎn)關(guān)于學(xué)習(xí)者面部表情變化的、可能具有啟發(fā)意義的特征。

第一，接收教育智能體情緒線索的刺激后，并非所有學(xué)習(xí)者都表現(xiàn)出相同的情緒反應(yīng)。具體來(lái)說(shuō)，大約60%左右的學(xué)習(xí)者在接收積極的情緒線索后，產(chǎn)生高興的面部表情。至于為什么其他學(xué)習(xí)者沒(méi)有產(chǎn)生類似的表情變化，研究認(rèn)為，一方面與面部表情識(shí)別的準(zhǔn)確性有關(guān)，由于學(xué)習(xí)者的面部角度、距離屏幕的遠(yuǎn)近會(huì)不自覺(jué)地發(fā)生改變，可能導(dǎo)致機(jī)器識(shí)別發(fā)生偏差；另一方面，不同個(gè)體情緒變化的“閾值”也可能存在差別，即部分人的情緒變化相對(duì)較少，而另一些人的情緒反應(yīng)更加明顯，容易產(chǎn)生更多的面部表情。

第二，發(fā)現(xiàn)教育智能體所引起的積極情緒并非即時(shí)產(chǎn)生、即時(shí)消亡，部分學(xué)習(xí)者保持高興表情的時(shí)間長(zhǎng)于其他學(xué)習(xí)者。即便如此，通過(guò)對(duì)學(xué)習(xí)者面部表情的分析，研究支持情緒的逐漸衰弱和波動(dòng)特征。

第三，取決于教育智能體情緒線索的數(shù)量，學(xué)習(xí)者面部表情變化的整體趨勢(shì)也存在微弱差異?？梢杂^察到，當(dāng)教育智能體為學(xué)習(xí)者提供直接且明顯的積極反饋時(shí)，更多學(xué)習(xí)者產(chǎn)生了高興的面部表情。反之，當(dāng)教育智能體在提問(wèn)時(shí)呈現(xiàn)出微笑的表情，學(xué)習(xí)者可能會(huì)因?yàn)樽⒁饬υ谄聊簧系膯?wèn)題區(qū)域，而忽視了教育智能體的情緒線索。這一推論說(shuō)明，教育智能體情緒線索的設(shè)計(jì)應(yīng)該結(jié)合學(xué)習(xí)活動(dòng)進(jìn)行協(xié)同考慮，在學(xué)習(xí)者與教育智能體進(jìn)行直接交互時(shí)，為其提供強(qiáng)化的、直觀的情緒線索。而當(dāng)學(xué)習(xí)者需要關(guān)注學(xué)習(xí)內(nèi)容時(shí)，則避免情緒線索可能造成的干擾，以實(shí)現(xiàn)更加優(yōu)化、有效的情緒調(diào)節(jié)。

最后，研究通過(guò)比較問(wèn)卷測(cè)量方法和面部表情分析這兩種不同機(jī)制的情緒測(cè)量方法，認(rèn)為兩種方法各具特點(diǎn)，例如問(wèn)卷測(cè)量能識(shí)別學(xué)習(xí)者的內(nèi)在感受，而面部表情分析則可以更加準(zhǔn)確地記錄他們的即時(shí)情緒變化等。因而，這兩種測(cè)量分析方法的結(jié)合，將是幫助研究者、教育者全面地掌握學(xué)習(xí)者真實(shí)情緒狀態(tài)更加行之有效的策略。

六、結(jié)語(yǔ)

本研究以媒體學(xué)習(xí)的“認(rèn)知—情緒”理論中的情緒與動(dòng)機(jī)假設(shè)為基礎(chǔ)，針對(duì)教育智能體積極的情緒線索對(duì)學(xué)習(xí)者情緒和動(dòng)機(jī)的作用效果，結(jié)合問(wèn)卷與計(jì)算機(jī)視覺(jué)支持的面部表情識(shí)別方法，探究學(xué)習(xí)者過(guò)程性情緒反應(yīng)的變化特征，以及結(jié)果性情緒感知與學(xué)習(xí)動(dòng)機(jī)在不同實(shí)驗(yàn)情境下的差異。

研究獲得如下結(jié)論：首先，教育智能體的積極情緒線索，可以提升學(xué)習(xí)者的內(nèi)在目標(biāo)傾向和任務(wù)價(jià)值。其次，教育智能體的積極情緒線索可以感染學(xué)習(xí)者，促使他們產(chǎn)生積極的情緒。不過(guò)，通過(guò)對(duì)比問(wèn)卷方式測(cè)量的情緒感知與面部表情分析方法測(cè)量的情緒反應(yīng)結(jié)果，研究發(fā)現(xiàn)：教育智能體的積極情緒線索在學(xué)習(xí)過(guò)程中確實(shí)會(huì)引發(fā)學(xué)習(xí)者情緒的變化；但是在學(xué)習(xí)完成后，學(xué)習(xí)者整體的情緒感知不一定會(huì)發(fā)生顯著改變。

該研究結(jié)果存在若干方面的啟發(fā)意義和借鑒價(jià)值。首先，對(duì)于高校來(lái)說(shuō)，應(yīng)用教育智能體可以改善學(xué)習(xí)者對(duì)社會(huì)交互的需求，并且教育智能體所傳遞的情緒線索，還能進(jìn)一步起到調(diào)節(jié)學(xué)習(xí)者情緒的作用，將其合理地運(yùn)用在教學(xué)程序和資源的設(shè)計(jì)中，可以幫助學(xué)習(xí)者維持適宜的情緒狀態(tài)。其次，對(duì)于教育研究中學(xué)習(xí)者情緒的分析與建模而言，研究在傳統(tǒng)問(wèn)卷測(cè)量的基礎(chǔ)上，基于智能技術(shù)的測(cè)量方法，為分析學(xué)習(xí)者情緒的過(guò)程性特征提供了新的視角，這是對(duì)傳統(tǒng)測(cè)量方法的有效補(bǔ)充，有助于研究者更加全面、細(xì)致地了解學(xué)習(xí)者的情緒。與此同時(shí)，研究結(jié)果也顯示了將人工智能技術(shù)應(yīng)用于學(xué)習(xí)者情緒識(shí)別、計(jì)算與調(diào)節(jié)的前景，在利用面部表情分析等方法識(shí)別學(xué)習(xí)者的情緒反應(yīng)后，機(jī)器可以依據(jù)特定的計(jì)算規(guī)則，判定需要為學(xué)習(xí)者提供何種情緒干預(yù)，以促進(jìn)學(xué)習(xí)者的積極情緒，達(dá)成最佳的學(xué)習(xí)效果。

盡管本研究的發(fā)現(xiàn)具有一定價(jià)值，但也存在一些局限需要在后續(xù)研究中予以改進(jìn)。一方面，學(xué)習(xí)者情緒的產(chǎn)生和表現(xiàn)是及其復(fù)雜的過(guò)程，未來(lái)研究應(yīng)嘗試結(jié)合生理信號(hào)、面部表情、自報(bào)告數(shù)據(jù)等多模態(tài)信息，以實(shí)現(xiàn)更為精準(zhǔn)的情緒計(jì)算；另一方面，教育智能體情緒線索的設(shè)計(jì)，仍然是一個(gè)開放性的研究命題，情緒線索傳遞的頻度和時(shí)機(jī)應(yīng)該如何抉擇，仍需要在后續(xù)研究中加以完善。