沈映珊 湯 庸

（華南師范大學(xué) 計算機(jī)學(xué)院，廣東廣州 510631）

社交學(xué)習(xí)網(wǎng)絡(luò)中基于學(xué)習(xí)認(rèn)知的情感交互研究*

沈映珊 湯 庸

（華南師范大學(xué) 計算機(jī)學(xué)院，廣東廣州 510631）

在分析社交學(xué)習(xí)網(wǎng)絡(luò)特點的基礎(chǔ)上，文章探討了情感識別與學(xué)習(xí)者學(xué)習(xí)狀態(tài)之間的關(guān)系；通過將學(xué)習(xí)者臉部表情、眼動、人體姿態(tài)與情感圖文等多模情感作為識別的指標(biāo)，并結(jié)合學(xué)習(xí)者的學(xué)習(xí)認(rèn)知狀態(tài)和學(xué)習(xí)行為，構(gòu)建了社交學(xué)習(xí)網(wǎng)絡(luò)情感交互模型。該模型可以促進(jìn)學(xué)習(xí)者的認(rèn)知發(fā)展，支持大規(guī)模的遠(yuǎn)程學(xué)習(xí)；也可以對社交學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行更好的監(jiān)督與指導(dǎo)，為該網(wǎng)絡(luò)在學(xué)習(xí)上的應(yīng)用提供新思路與新方法。

社交學(xué)習(xí)網(wǎng)絡(luò)；情感交互；認(rèn)知學(xué)習(xí)；學(xué)習(xí)行為；模式識別

一 社交學(xué)習(xí)網(wǎng)絡(luò)的特點

社交學(xué)習(xí)網(wǎng)絡(luò)（Social Learning Network，SLN）作為E-Leaning的一種學(xué)習(xí)環(huán)境，能創(chuàng)建一種內(nèi)容可視化的、安全與實用的學(xué)習(xí)社區(qū)。SLN供各種教育工具，并“提供了一種上下文關(guān)聯(lián)的方法，以完成主題或任務(wù)為目標(biāo)，能解釋學(xué)習(xí)者在網(wǎng)絡(luò)中交互的情況，學(xué)習(xí)者交換學(xué)習(xí)經(jīng)驗的同時及時更新自己的知識”[1]，故有利于實現(xiàn)共享學(xué)習(xí)、提高學(xué)習(xí)效率并擴(kuò)大學(xué)習(xí)范圍。

Enio Ohmaye[2]認(rèn)為，未來教育創(chuàng)新的依據(jù)是學(xué)習(xí)者的情感體。但是，“目前E-Learning系統(tǒng)重‘知’輕‘情’的現(xiàn)象嚴(yán)重，由于在線學(xué)生規(guī)模大，因時空上的分隔而難以感受對方的情感和心智狀態(tài)，缺乏情感交流，普遍存在著‘情感缺失’問題，導(dǎo)致學(xué)習(xí)者學(xué)習(xí)熱情衰減，嚴(yán)重影響學(xué)習(xí)效果”[3]。所以，設(shè)計SLN時除了要綜合考慮學(xué)習(xí)者的個性、興趣等非智力因素，還要從學(xué)習(xí)者的情感及情感交互過程來考慮他們的學(xué)習(xí)認(rèn)知問題，甚至在某些交互場景下實施情感補(bǔ)償?shù)姆椒ǎ詽M足大規(guī)模且有效的遠(yuǎn)程學(xué)習(xí)的需求。

隨著移動智能設(shè)備的出現(xiàn)，學(xué)習(xí)者獲取信息與交流的途徑包括圖形或圖像、語音、人臉表情、眼睛、身體姿勢等。利用心理學(xué)、認(rèn)知科學(xué)和情感計算為理論基礎(chǔ)，通過捕捉學(xué)習(xí)者在參與SLN活動過程中的各種情感信息，結(jié)合學(xué)習(xí)者在信息交流過程中所發(fā)出的文字、圖片等來識別學(xué)習(xí)者的實時情感狀態(tài)，推導(dǎo)學(xué)習(xí)者所處的學(xué)習(xí)認(rèn)知狀態(tài)，給出相應(yīng)的情感鼓勵或情感補(bǔ)償，可為研究SLN在個性化教學(xué)環(huán)境中的應(yīng)用提供新的參考方法。

二 社情感識別與學(xué)習(xí)者的學(xué)習(xí)狀態(tài)

1 通過情感識別分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)

學(xué)習(xí)者的學(xué)習(xí)過程主要依靠學(xué)習(xí)者的認(rèn)知加工過程。但近幾年的行為和神經(jīng)科學(xué)研究數(shù)據(jù)證明，認(rèn)知與情感的加工過程不但相互交互，而且在神經(jīng)機(jī)制功能上還相互整合，共同構(gòu)成了行為活動的基礎(chǔ)[4]。情感不但影響學(xué)習(xí)者的認(rèn)知驅(qū)動與動機(jī)，還影響其學(xué)習(xí)的行為績效，進(jìn)而影響其行為狀態(tài)——積極、正面的情感對于學(xué)習(xí)者的認(rèn)知思維、學(xué)習(xí)智力等方面起到關(guān)鍵的作用，有助于提高創(chuàng)造力和解決問題的能力；而負(fù)面的情感則會對個人的思想過程產(chǎn)生相反的效果[5]。

（1）情感識別與人臉表情。情感識別可通過人臉表情進(jìn)行直觀判斷，如當(dāng)學(xué)習(xí)者對學(xué)習(xí)內(nèi)容感興趣時，其情緒就會高漲，表現(xiàn)為眉毛上揚、眼睛睜大、上下眼簾間距變大；反之則情緒低落，表現(xiàn)為眉頭緊鎖、目光無神呆滯。為此，加州大學(xué)研究人員在2011年通過Emotient技術(shù)識別學(xué)習(xí)者人臉表情的變化，來預(yù)測視頻教程的難度和學(xué)生的觀看速度；美國Affectiva公司在2012年將帶有表情識別功能的Affdex產(chǎn)品應(yīng)用到網(wǎng)絡(luò)課堂，方便教師觀察學(xué)生的活躍及認(rèn)真程度。Paul和Friesen[6]在對人臉表情進(jìn)行細(xì)微研究后，總結(jié)出多達(dá)46種人臉表情，并分為基本的6類（即高興、悲傷、驚訝、恐懼、憤怒和厭惡），系統(tǒng)地建立了上千幅不同的人臉表情圖象庫。

（2）情感識別與語調(diào)語速。學(xué)習(xí)者的情感可通過語音的高低快慢來體現(xiàn)，如學(xué)習(xí)者談到感興趣的內(nèi)容時，自然地就會語調(diào)升高、語速加快；反之則語調(diào)低沉、語速緩慢。為此，MIT在“MYSELF”項目中曾將語音情感引入遠(yuǎn)程學(xué)習(xí)和計算機(jī)輔助訓(xùn)練中[7]。具體來說，使用多個情感檢測模塊，獲取學(xué)習(xí)者的面部表情、聲音（如頻率、強(qiáng)度）、發(fā)言內(nèi)容和其它行為（如鼠標(biāo)點擊），即通過生理信號與語音信號特征的結(jié)合分析，可確認(rèn)學(xué)習(xí)者的情感狀態(tài)。

（3）情感識別與文字圖片。文字是學(xué)習(xí)者進(jìn)行信息交流最基本的形式。利用文字進(jìn)行情感識別的基本方法是從句子中分出字詞，抽取情感字詞，再分析情感。Fenske等[8]曾通過對文中字詞的分析來識別E-Learning環(huán)境中的協(xié)作學(xué)習(xí)角色，通過分析學(xué)習(xí)者發(fā)出的文字去判斷學(xué)習(xí)者的學(xué)習(xí)情感。SLN中為交流雙方提供了大量可視化的情感符號與圖片，學(xué)習(xí)者在表達(dá)情感意義時可直接引用，如表1所示。當(dāng)學(xué)習(xí)者對學(xué)習(xí)內(nèi)容感興趣時，發(fā)出正面、積極的文字與圖片，稱為正極性文字符號；反之則發(fā)出反面、消極的文字與圖片，稱為負(fù)極性文字符號。

表1 文字與圖片情感識別范例

2 情感識別與學(xué)習(xí)者學(xué)習(xí)狀態(tài)的認(rèn)知評價

學(xué)習(xí)者的學(xué)習(xí)過程是學(xué)習(xí)信息加工的認(rèn)知過程，學(xué)習(xí)者的情緒變化是認(rèn)知影響的結(jié)果，即學(xué)習(xí)者的認(rèn)知狀態(tài)與情感狀態(tài)是相互影響且可相互推斷的[9]。Lazarus[10]指出，情緒從來都是認(rèn)知活動反應(yīng)的結(jié)果，是在認(rèn)知過程中產(chǎn)生的某種意義，認(rèn)知過程的目的就是實現(xiàn)這一意義。因此，情緒可用來評估事件、對象與媒介／代理的目的、效價與態(tài)度。其中，目的指的是學(xué)習(xí)者對事件的評價是對自身發(fā)展起促進(jìn)作用還是阻礙作用，效價是指評價媒介／代理的活動是否適合或符合個體所在環(huán)境的行為標(biāo)準(zhǔn)，態(tài)度則指主要用來評價的屬性是否符合學(xué)習(xí)者的態(tài)度。

根據(jù)吳滄海等[11]的研究，通過人臉表情、眼動情況及身體姿勢等易于判斷的學(xué)習(xí)狀態(tài)分為三種:專注、安靜和疲勞。當(dāng)學(xué)習(xí)者處于專注狀態(tài)時，情感就處于愉快或興奮的狀態(tài)，應(yīng)鼓勵狀態(tài)持續(xù)；當(dāng)學(xué)習(xí)者處于安靜狀態(tài)時，說明其情感開始過渡到不感興趣或不愉快的狀態(tài)，應(yīng)進(jìn)行情感引導(dǎo)，喚醒其興奮度，鼓勵繼續(xù)學(xué)習(xí)；當(dāng)學(xué)習(xí)者處于疲勞狀態(tài)時，情感就處于睡眠或難受狀態(tài)，應(yīng)進(jìn)行情感補(bǔ)償，使之愉悅起來。學(xué)習(xí)的認(rèn)知狀態(tài)、情感識別和學(xué)習(xí)者行為是相互作用、相輔相成的，其相互判斷如表2所示。

表2 情感與學(xué)習(xí)狀態(tài)識別

三 模型建構(gòu)

1 情感指標(biāo)建構(gòu)與篩選

（1）數(shù)據(jù)獲取方法

根據(jù)SLN的特點，為獲取有效的情緒信息，對于表情與姿態(tài)動作等信息的獲取不選擇攝像機(jī)進(jìn)行跟蹤拍攝，原因有二:一是跟蹤攝像機(jī)會讓被拍攝者感到心理壓力，使其動作與表情處于主動抑制狀態(tài)；二是目前的智能終端都內(nèi)嵌有高性能的攝像頭，軟件控制能夠獲得更有效、更自然的數(shù)據(jù)，其數(shù)據(jù)獲取方法如圖1所示。即學(xué)習(xí)者通過智能移動終端在SLN上進(jìn)行學(xué)習(xí)，通過終端上的攝像頭、安裝在終端前方的攝像頭或行為捕捉工具（如微軟的 Kinect）捕捉學(xué)習(xí)者的人臉表情、眼動和身體姿勢的變化信息；通過代理 Agent獲取學(xué)習(xí)者在學(xué)習(xí)活動過程中發(fā)布的文字、圖片、聲音等。然后，所收集的信息通過有線或無線通信的方式被發(fā)送到情緒數(shù)據(jù)庫儲存起來。當(dāng)需要進(jìn)行分析的時候，工作站從情緒數(shù)據(jù)庫中提取這些信息進(jìn)行分析，編碼、識別出學(xué)習(xí)者的情感狀態(tài)和認(rèn)知狀態(tài)，再通過智能Agent將情感支持對策結(jié)果反饋給學(xué)習(xí)者。

圖1 情緒信息數(shù)據(jù)獲取方法

（2）情感與學(xué)習(xí)行為指標(biāo)選定

根據(jù)情感識別與學(xué)習(xí)認(rèn)知的對應(yīng)判斷關(guān)系，參考應(yīng)用于心理學(xué)、社會學(xué)和計算機(jī)科學(xué)情感計算領(lǐng)域的愉悅度—覺醒度—優(yōu)勢度之情緒模型的定義，以及學(xué)習(xí)認(rèn)知領(lǐng)域的學(xué)習(xí)三維狀態(tài)模型[12]等內(nèi)容，本研究建構(gòu)了情感狀態(tài)與學(xué)習(xí)認(rèn)知狀態(tài)概念框架，如表3所示。學(xué)習(xí)者的人臉表情、動作和發(fā)送的圖文信息識別同時進(jìn)行，其結(jié)果相互驗證，能更為準(zhǔn)確的進(jìn)行情感識別與認(rèn)知狀態(tài)判斷。圖3表明，情感狀態(tài)可通過學(xué)習(xí)者的人臉表情、眼睛和身體姿態(tài)來識別，由捕獲所發(fā)送的情感文字或圖片來進(jìn)一步驗證，并進(jìn)行相應(yīng)的情感支持與反饋建議；情感狀態(tài)分為三個維度，其中愉悅度表示對完成學(xué)習(xí)主題或?qū)W習(xí)任務(wù)過程的吸引、接受程度，覺醒度表示學(xué)習(xí)的疲勞程度，優(yōu)勢度表示學(xué)習(xí)者對學(xué)習(xí)環(huán)境的滿意度。

表3 情感狀態(tài)與學(xué)習(xí)認(rèn)知狀態(tài)概念框架

（3）學(xué)習(xí)認(rèn)知狀態(tài)與學(xué)習(xí)行為狀態(tài)識別

判斷學(xué)習(xí)者在SLN中的認(rèn)知狀態(tài)和行為狀態(tài)的框架如表4所示。學(xué)習(xí)者在SLN中的認(rèn)知狀態(tài)，需綜合考慮學(xué)習(xí)者的情感數(shù)據(jù)、行為數(shù)據(jù)來進(jìn)行判斷[18]。根據(jù)學(xué)習(xí)者在SLN中的運動軌跡，了解學(xué)習(xí)者的學(xué)習(xí)內(nèi)容及階段，結(jié)合學(xué)習(xí)者的學(xué)習(xí)行為，利用知識庫中字詞解釋、知識點問題提示、學(xué)習(xí)任務(wù)與主題學(xué)習(xí)目標(biāo)的反饋，給出情感支持的建議及反饋——當(dāng)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)呈現(xiàn)負(fù)極性、學(xué)習(xí)停滯不前或處于困難狀態(tài)時，需要給出正面的情感支持如鼓勵或補(bǔ)償?shù)?；?dāng)學(xué)習(xí)者已經(jīng)完成任務(wù)或在任務(wù)之外，或者學(xué)習(xí)狀態(tài)輕松、愉悅時，可以不打擾。

表4 認(rèn)知狀態(tài)和行為狀態(tài)判斷框架

2 社交學(xué)習(xí)網(wǎng)絡(luò)情感交互模型建構(gòu)

本研究建構(gòu)的社交學(xué)習(xí)網(wǎng)絡(luò)情感交互模型如圖 2所示。該模型可分為情感狀態(tài)識別層、學(xué)習(xí)狀態(tài)識別層和行為推理層。其中，情感狀態(tài)識別層的數(shù)據(jù)來源于學(xué)習(xí)者的表情數(shù)據(jù)和發(fā)送的圖文。具體流程是:將獲得的數(shù)據(jù)進(jìn)行編碼、匹配與過濾，根據(jù)情感狀態(tài)三個維度的描述進(jìn)行分類，獲取學(xué)習(xí)者的情感狀態(tài)，最后發(fā)送到SLN代理端去判斷是否需要對學(xué)習(xí)者進(jìn)行情感支持。

利用學(xué)習(xí)者在SLN中的上下文、運動軌跡和學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)，可推出學(xué)習(xí)者的認(rèn)知學(xué)習(xí)狀態(tài)。學(xué)習(xí)者在SLN中需要點擊選擇某一任務(wù)進(jìn)行學(xué)習(xí)的時間數(shù)據(jù)，如在解決學(xué)習(xí)任務(wù)的過程中，與同伴進(jìn)行交流的時間、點擊某個內(nèi)容瀏覽的時間、進(jìn)入與退出某個主題的時間距離發(fā)送與發(fā)布的圖文等信息；學(xué)習(xí)者對待學(xué)習(xí)任務(wù)時的學(xué)習(xí)行為，如正在尋找問題的解決方法、已完成任務(wù)測試、請求幫助等，可推導(dǎo)出學(xué)習(xí)者的初始學(xué)習(xí)認(rèn)知狀態(tài)是專注、平靜還是疲勞，任務(wù)是已完成還是難以解決。

將經(jīng)過統(tǒng)一編碼后的學(xué)習(xí)者認(rèn)知學(xué)習(xí)狀態(tài)推送到SLN的Agent端，與前面的情感認(rèn)知狀態(tài)進(jìn)行對比、驗證，可推導(dǎo)出是否需要對學(xué)習(xí)者的學(xué)習(xí)行為進(jìn)行情感鼓勵、補(bǔ)償或是不干涉?？梢酝ㄟ^情感 Agent從語言、文字、表情或動作來進(jìn)行，如提供輕松的話語、和藹的笑容、充滿激情的行動等，可讓學(xué)習(xí)者的情感從緊張中得到放松、從昏昏欲睡中振作起來、從困惑和痛苦中得到緩解。同時，Agent也可以根據(jù)學(xué)習(xí)者的學(xué)習(xí)行為和學(xué)習(xí)認(rèn)知狀態(tài)，了解其當(dāng)前學(xué)習(xí)的主題或任務(wù)的進(jìn)展情況，為學(xué)習(xí)者提供有針對性的幫助與建議。

四 小結(jié)

本研究通過臉部表情、眼動情況、人體姿態(tài)與情感圖文綜合的情感識別技術(shù)，構(gòu)建了社交學(xué)習(xí)網(wǎng)絡(luò)情感交互模型，主要創(chuàng)新點在于:其一，認(rèn)知與多模情感的結(jié)合對SLN效果的有效影響。通過更準(zhǔn)確的模式識別，對學(xué)習(xí)者進(jìn)行適當(dāng)?shù)那楦姓{(diào)整或情感補(bǔ)償，保持學(xué)習(xí)者對學(xué)習(xí)主題或任務(wù)進(jìn)行的興趣以及學(xué)習(xí)的愉悅感，進(jìn)而優(yōu)化學(xué)習(xí)效果。其二，SLN多模情感交互分析對學(xué)習(xí)過程與學(xué)習(xí)效果的影響。該模型可提高E-Learning環(huán)境中學(xué)習(xí)者的情感狀態(tài)識別度，有利于判斷學(xué)習(xí)者的學(xué)習(xí)認(rèn)知狀態(tài)，從而對SLN進(jìn)行更好的監(jiān)督與指導(dǎo)。

具有情感交互功能的SLN的使用，是計算機(jī)情感計算耦合認(rèn)知科學(xué)、機(jī)器學(xué)習(xí)與模式識別技術(shù)的結(jié)合，它不但可以作為學(xué)校課堂教學(xué)的有效輔助手段，還可以促進(jìn)學(xué)習(xí)者的認(rèn)知發(fā)展，為社交網(wǎng)絡(luò)在學(xué)習(xí)上的應(yīng)用提供新思路與新方法。

圖2 社交學(xué)習(xí)網(wǎng)絡(luò)情感交互模型

[1]Tinmaz H. Social networking websites as an innovative framework for connectivism[J]. Contemporary Educational Technology, 2012,3(3):234-245.

[2]李晶.在線教育的新機(jī)遇:碎片時間和情感社區(qū)[OL]. 〈http://www.zhongjiaomedia.com/zaixianjiaoyu/a/933.html.〉

[3]鄭慶華,劉均,田鋒,等.下一代E-Learning系統(tǒng)[J].中國計算機(jī)學(xué)會通訊,2011,(11):54-60.

[4]Pessoa L. How do emotion and motivation direct executive control?[J]. Trends in Cognitive Sciences, 2009,13(4):160-166.

[5]Fowler C J H. The role of arousal in memory and attention[D]. London: Royal Holloway University, 1977:30-50.

[6]Paul E, Friesen W V. A guide to recognizing emotions from facial expressions[M]. UK: Malor Books, 2003:100-120.

[7](美)韓家煒著,范明譯.數(shù)據(jù)挖掘:概念與技術(shù)[M].北京:機(jī)械工業(yè)出版社,2002:45-60.

[8]Fenske M J, Raymond J E, Kunar M A. The affective consequences of visual attention in preview search[J]. Psychon Bull Rev, 2004,(11):1034-1040.

[9]詹澤慧.基于智能 Agent的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型——眼動追蹤與表情識別技術(shù)支持下的耦合[J].現(xiàn)代遠(yuǎn)程教育研究,2013,(5):100-105.

[10]Lazarus R S. Emotion and adaptation[M]. New York: Oxford University Press, 1991:78-103.

[11]吳滄海,熊煥亮,王映龍.遠(yuǎn)程學(xué)習(xí)中學(xué)習(xí)狀態(tài)判斷的情感計算研究[J].軟件導(dǎo)刊·教育技術(shù),2013,(12):24-27.

[12]解迎剛,王志良.遠(yuǎn)程教育中情感計算技術(shù)[M].北京:機(jī)械工業(yè)出版社,2011:30-47.

[13]Chaffar S, Cepeda G, Frasson C. Predicting the learner’s emotional reaction towards the tutor’s intervention[A].IEEE. International conference on advanced learning technologies[C]. Niigata: IEEE, 2007:639-641.

[14]Abdullah A A, Mariah B M, Rahmat B G. Usage of social networking sites and technological impact on the interaction-enabling features[J]. International Journal of Humanities and Social Science, 2014,4(2):46-61.

[15]Cesar C, Maria J R, Ines de G. Supporting online collaborative learning in small groups: Teacher feedback on learning content, academic task and social participation[J]. Computers & Education, 2014,(75):53-64.

[16]Isbister K, Karlesky M, Frye J, et al. Scoop!: A movement-based math game designed to reduce math anxiety[A].ACM. The international conference on the foundations of digital games[C]. New York: ACM, 2012:228-230.

[17]Mellone. Gesturing to learn video game technology is in motion in loudoun county school[OL].

〈http://www.districtadministration.com/article/gesturinglearn.〉

[18]Alam K M, Rahman M A, Saddik A E, et al. Adding emotional tag to augment context-awareness in social network services[A]. IEEE. Instrumentation and measurement technology conference[C]. Binjiang: IEEE, 2011:1-6.

編輯:小米

Affective Interaction Studies of Social Learning Network based on Learning Cognitive

SHEN Ying-shan TANG Yong
(Department of Computer Science, South China Normal University, Guangzhou, Guangdong, China 510631)

Based on the analysis of the characteristics of social learning network(SLN), the relation between affective recognition and learning status of learners was discussed. The SLN affective interaction model was constructed in combination with the learning cognitive status and learning behavior of learners by using multi-mode emotions, such as learners’ facial expressions, eye movements, body postures and emotional texts and graphics, ect, as recognition indexes.The mode can effectively promote the cognitive development of learners, support the need of large-scale remote distance learning. It can also better supervise and guide the SLN, and provid a new idea and a new method for the application of SLN.

social learning network; affection interaction; cognitive learning; learning behavior; pattern recognition

G40-057

A 【論文編號】1009—8097（2015）09—0090—07

10.3969/j.issn.1009-8097.2015.09.014

本文受國家自然科學(xué)基金項目“移動學(xué)習(xí)行為感知下教育資源語義組織與存儲優(yōu)化研究”（項目編號：613701678）資助。

沈映珊，副教授，博士，研究方向為網(wǎng)絡(luò)教育應(yīng)用，郵箱為esancn@gmail.com。

2014年12月23日