陳子健 朱曉亮

(1.華中師范大學 國家數字化學習工程技術研究中心，湖北武漢 430079；2.貴州財經大學 信息學院，貴州貴陽 550025)

學習者情緒不僅作用于認知加工過程中的注意、記憶、決策等各個環(huán)節(jié)，而且影響學習者的學習動機和興趣[1]。準確感知學習者的情緒狀態(tài)，對實施個性化教育，提升學習績效都尤為重要。在傳統(tǒng)的課堂教學環(huán)境中，教學經驗豐富的教師善于通過情緒外部表現（如，面部表情、姿態(tài)表情和語調表情），來判斷學生的情緒狀態(tài)，以輔助自己的教學決策。但是在互聯網、人工智能、大數據等技術裹挾下的科技革命正在沖擊著傳統(tǒng)教育的生態(tài)[2]，當前的教學環(huán)境已不再局限于學校的課堂教學，虛擬的數字化學習環(huán)境，正在成為當前教育生態(tài)的重要組成部分。

賦予數字化學習環(huán)境中的計算機識別、理解和表達情緒的能力，成為情感計算、人工智能、人機交互等多個研究領域共同追逐的目標。雖然這是一項挑戰(zhàn)性的工作，但是在計算機視覺、人工智能、情感計算等新興技術的支撐下，這一目標正在日益變成現實。計算機可以通過識別學習者外顯的面部表情，來判斷學習者內隱的情緒狀態(tài)，從而獲得識別、理解學習者情緒的能力，在此基礎上，可以進一步實現計算機與學習者的情緒交互。

一、學習者情緒識別適用的情緒表征方法

與情緒（Emotion）相關的術語，主要有情感（Affect）、感受或感情（Feeling）。嚴格來講，情感是情緒、感受或感情這類現象的籠統(tǒng)稱謂。情緒特指情感性反應的過程，側重指向非常短暫但強烈的體驗。感受或感情指的是情緒的主觀體驗，是情感性反應的內容。確定情緒的表征方法是學習者情緒識別的前提。

目前，情緒心理學研究領域采用的情緒表征方法，大致可分為兩類：分類表征方法和維度表征方法。分類表征方法將情緒分為幾種彼此獨立、有限的基本情緒；復合情緒由基本情緒變化混合而成。基本情緒也是在日常生活中發(fā)生頻率最高的情緒類別。美國心理學家Paul Ekman 通過研究發(fā)現：六種基本情緒（高興、生氣、驚訝、恐懼、厭惡和悲傷）的面部表情、生理和行為反應具有跨文化一致性[3]。因此，這六種基本情緒也就成為情緒識別領域廣泛研究的對象。維度表征方法則將情緒視為高度相關的連續(xù)體，并用某個維度空間中的點來表征情緒。在情緒識別領域，采用維度表征方法的研究者，大多數采用效價性和喚醒度兩個維度表征情緒。效價性用于表示情緒是正向還是負向，變化范圍從“不高興”到“高興”；喚醒度則用于表示興奮或冷淡的程度，其變化范圍從“瞌睡”或“厭倦”到“特別興奮”。

分類表征方法和維度表征方法各有優(yōu)缺點（如表1所示），適用于不同的領域。分類表征方法簡潔、易懂，更符合人們的日常體驗，也有利于對特定情緒類別進行檢測和識別，但也存在難以處理復合情緒的問題。維度表征方法可以在幾個連續(xù)的刻度上，對情緒進行標定，有利于機器情感模擬。但機器情感模擬，也需要解決情緒和維度空間坐標之間的相互轉換問題。另外，心理學的研究表明，維度之間存在相互關聯，特別是在描述每個維度的值中存在著重復和內部關聯性上[4-5]。學習者情緒識別更適合采用分類的情緒表征方法，因為其主要目標是識別出頻率較高、影響學習績效的情緒類別，從而為教學決策提供依據。

表1 兩種情緒表征方法的對比

二、基于面部表情的學習者情緒識別的適切性

一個完整的情緒體驗過程，由認知層面上的主觀體驗、生理層面上的生理喚醒、表達層面上的外顯行為這三種層面的活動共同構成[6]。相應地，情緒識別的研究者主要通過主觀體驗測量、生理測量、外顯行為分析三種方式開展相關研究。主觀體驗測量是用標準化的量表來測量被試者的情緒體驗，難以保證結果的客觀性，這種事后測量的方式也無法實現實時性的情緒測量。通過生理測量識別情緒是借助心電儀、肌電儀、皮膚電反應儀、腦電儀等專用設備，監(jiān)測被試的生理信號，利用不同情緒在生理信號方面的差異實現情緒識別。但是，生理測量并不適用于學習者的情緒識別，因為監(jiān)測學習者生理信號通常需要通過傳感器與學習者皮膚進行物理連接，這樣會對學習者造成干擾，并且需要較為昂貴的專業(yè)設備。這種方式多用于實驗室情境，難以推廣應用。目前，一些穿戴式智能設備也可以監(jiān)測部分生理信號，例如，智能手環(huán)和智能手表可以采用光電測量心率，但其準確性容易受汗水、膚色、光照和晃動等因素影響。這兩款產品的設計初衷也僅針對戶外健身和醫(yī)療保健，難以監(jiān)測學習者情緒識別所需的其它生理信號。

情緒的外顯行為包括語音表情、姿勢表情和面部表情?；谡Z音表情的情緒識別是從語音參數中提取聲學特征用于情緒識別，但是相關研究顯示，部分情緒的語音表情的聲學特征并不存在顯著差異性。例如，難以通過語音表情分辨害怕和驚喜、厭倦和悲傷[7]。用于表達情緒的身體姿態(tài)稱為姿態(tài)表情，例如，緊握的拳頭、耷拉的腦袋?；谧藨B(tài)表情的情緒識別面臨的問題是，學術界對于姿態(tài)表情是否與特定的情緒存在一一對應關系尚存在爭議。情緒研究的先驅Darwin 認為，有些身體運動與姿態(tài)會對應特定的情緒[8]；而情緒研究的代表人物Paul Ekman則認為，姿態(tài)表情僅能提供情緒強度信息，特定的姿態(tài)表情和情緒間不存在一一對應關系[9]。例如，緊握的拳頭可以用于表達憤怒，也可用于表達興奮、激動。

面部表情是表達情緒的最主要、最自然和最直接的通道[10]。心理學家Mehrabian 通過研究發(fā)現：情緒表達=7%的言詞+38%的語音表情+55%的面部表情[11]。因此，面部表情也是用于情緒識別的一種主要數據類型。Scherer 等分別對基于語音表情和基于面部表情的基本情緒識別方法的正確率做了統(tǒng)計對比分析，如表2所示。基于面部表情的情緒識別方法的平均正確率，比基于語音表情的情緒識別方法的平均正確率高大約15%。作為一種在特定情境中的情緒識別，基于面部表情的學習者情緒識別，有其自身的優(yōu)勢：（1）面部表情是表達情緒的最主要通道，能客觀反映學習者真實的情緒狀態(tài)；（2）基于面部表情的情緒識別可以實現無接觸式的數據采集，可最大限度地減少對學習者的干擾；（3）面部表情數據采集可以通過低成本的攝像頭實現，也便于整合到各類智慧學習系統(tǒng)中，有助于技術的推廣應用。

部分研究者融合面部表情和其它多種類型數據識別學習者情緒，以期提高識別準確率，但是這種基于多種類型數據的學習者情緒識別方法，能夠普及應有的前提是降低對學習者的干擾和技術的應用門檻，否則只能局限于實驗室情境。

表2 通過面部表情和語音信號識別基本情緒的正確率對比[12]

三、情緒面部表情識別的研究現狀

基于面部表情的學習者情緒識別，是通過對學習過程中的面部表情的檢測和識別，來獲取學習者的情緒狀態(tài)信息的。面部表情識別包括人臉檢測、表情特征提取、表情分類三個核心環(huán)節(jié)，其中人臉檢測算法和分類算法已經相對成熟，當前研究的重點主要在于如何有效地提取面部表情特征。在學習者情緒面部表情識別的相關研究中，部分研究是借助工具軟件提取面部特征，如：Microsoft Kinect Face Tracker[13]、CERT（Computer Expression Recognition Toolbox）[14]、FaceTracker（源自NevenVision 公司的面部特征跟蹤SDK）[15]等。但是這類工具軟件并不是專門針對面部表情識別開發(fā)的，或者在性能上還達不到要求。到目前為止，我們還沒有發(fā)現功能完善的適用于學習者面部表情識別的工具軟件。

雖然，國內外研究者在面部表情特征提取方面做了大量探索性工作，但是，面部表情特征提取受到諸多因素的影響，如個體差異、環(huán)境、姿態(tài)等。目前，面部表情的特征提取算法還處在不斷的探索和研究階段。因此，本文重點對面部表情識別領域的特征提取算法進行了梳理和分類，來分析不同類別算法的特點及局限性，以期為探索適合學習者面部表情特征提取算法提供借鑒，從而推動學習者面部表情識別的發(fā)展和應用。

（一）傳統(tǒng)的計算機視覺方法

1.基于靜態(tài)圖像的表情識別

基于靜態(tài)圖像表情識別的特征提取算法，大致可分為兩類：幾何特征提取和外觀特征提取。幾何特征是指通過測量距離、形變、曲率和其它幾何屬性來表征面部表情，代表性的方法包括：主動形狀模型（Active Shape Models，ASM）和主動外觀模型（ActiveAppearance Models，AAM）。ASM 通過對訓練樣本的面部特征點組成的形狀向量進行統(tǒng)計建模，同時，利用特征點所在輪廓線方向上的灰度信息，建立起反映灰度分布規(guī)律的局部灰度模型。在搜索面部表情特征點位置的過程中，局部灰度模型作為目標函數，用于確定特征點的移動方向和位置，通過迭代方式，確定特征點最優(yōu)位置，最終得到由特征點組成面部表情幾何形狀（如圖1所示）。

圖1 面部表情的幾何特征表征示意圖

AAM 是對ASM 的改進，其建立了全局灰度模型用于特征點搜索，以提升精確度。另外，尺度不變特征轉換（Scale-Invariant Feature Transform，SIFT）作為一種局部特征描述算子，也可以在面部圖像中檢測出特征點，通過求解特征點及其有關角度和方向，來提取面部表情幾何特征。Wang、江河等采用ASM 提取面部幾何特征，并利用支持向量機作為分類器，來檢測學習者是否產生困惑[16-17]。韓麗等利用AAM 檢測面部特征點，然后依據特征點，自定義表情特征，識別傾聽、疑惑、理解、抗拒和不屑五種面部表情，用于教學效果的評價[18]。

總的來看，基于靜態(tài)圖像幾何特征的面部表情識別，只利用了面部器官的幾何形變信息，忽視了面部的紋理、皺褶等蘊含的信息，所以，對于面部肌肉運動幅度小的自然面部表情，識別準確度較低。

外觀特征提取是指基于圖像像素的特征提取，采用領域專家設計的圖像特征描述算子，從像素所蘊含的信息中提取面部表情特征，反映的是面部表情底層的信息。常見的特征描述算子有：Gabor 小波、局部二值模式（Local Binary Patterns，LBP）、方向梯度直方圖（Histogram of Gradient，HOG）等。Gabor 小波變換是利用一組濾波器對表情圖像進行濾波，檢測多尺度、多方向的面部局部紋理特征，而且對于表情圖像的光照變化不敏感。LBP 以中心像素的灰度值作為閾值，通過閾值標記中心點像素與其鄰域像素之間差別的方式，來提取圖像紋理特征，具有旋轉不變性和灰度不變性等優(yōu)點。HOG 首先對圖像進行分割，然后計算和統(tǒng)計圖像局部區(qū)域（Cell 和Block）的方向梯度直方圖，來提取面部表情特征。

較為經典的案例有：Whitehall 等利用Gabor 小波變換提取面部外觀特征，檢測學習者專注度[19]。Happy 等提取學習者面部表情的LBP 特征，檢測學習者的警覺程度和情緒狀態(tài)[20]。童瑩從對傳統(tǒng)的HOG特征出發(fā)，提出了空間多尺度HOG 特征[21]，但忽略了特征之間空間排列信息的缺點。從這些研究中可以看到，外觀特征是從底層像素中提取特征，適用于低強度的自然面部表情和微表情的檢測與識別。但是外觀特征提取方法本身也存在局限性，比如，Gabor 小波變換需要計算大量的小波核函數，產生的高維特征向量不利于算法實時性，也易造成了信息冗余。LBP 特征提取也存在計算量大的問題，同時受鄰域灰度值變化影響較大，對噪聲敏感。

總體來說，外觀特征提取在面部表情識別領域仍具有重要應用，主要針對現有的外觀特征提取算法進行改進，或是與其它類型的特征提取算法進行融合。

2.基于動態(tài)圖像序列的表情識別

面部表情的產生是一個動態(tài)過程，基于動態(tài)圖像序列的表情識別提取動態(tài)特征識別面部表情，大致可分為光流特征、幾何動態(tài)特征和外觀動態(tài)特征三類。面部表情光流特征是利用序列圖像間像素強度的時域變化和相關性，來確定像素點的“運動”，用于表征臉部形變和變化趨勢。Anderson 等在人臉跟蹤的基礎上提取面部光流特征，識別視頻中的六種基本情緒面部表情[22]；Liu 等則提出了主方向平均光流特征這個概念，具體來說，在微表情視頻序列中抽取主方向，對面部區(qū)域進行分割，并計算分塊中的平均光流特征，再對微表情進行識別[23]。但是，光照不均和臉部非剛性運動等因素，都將影響面部表情光流特征的提取，建立可靠、快速、魯棒的光流算法，仍然面臨很大的挑戰(zhàn)。

幾何動態(tài)特征以面部特征點定位為基礎，具體來說，需構建面部表情的幾何形狀特征描述，跟蹤幾何形狀的時域變化，實現面部表情識別。Tie 等通過多個粒子過濾器跟蹤視頻中的26 個面部特征點，構建了人臉網狀模型，提取形變特征識別面部表情[24]。Cheon 等提出差分AAM，并結合流型學習（Manifold Learning）跟蹤面部幾何形狀的變化，用于識別面部表情[25]。Pantic 等利用粒子濾波器跟蹤視頻中15 個面部特征點，并結合時序規(guī)則檢測面部動作編碼系統(tǒng)（FACS）中的27 個面 部動作單元（Facial ActionUnits，AU），依據FACS 中定義的特定表情和AU的映射關系識別表情[26]。Niese 等則融合光流特征和幾何特征，識別六種基本情緒面部表情[27]。雖然，幾何特征對靜態(tài)圖像表情的識別準確率較低，但幾何動態(tài)特征具有可以跟蹤面部形變過程的特點，計算量小，對光照變化不敏感，常用于圖像序列的表情識別。

為了表征臉部皺紋、溝紋、皮膚紋理的細微動態(tài)變化，一些研究者嘗試將二維靜態(tài)圖像外觀特征描述算子擴展到三維空間，用于提取面部表情的外觀動態(tài)特征。例如，采用LBP-TOP（Local Binary Pattern Histograms from Three Orthogonal Planes）特征描述算子，提取面部表情的動態(tài)外觀特征。動態(tài)圖像序列除了二維靜態(tài)圖像的X，Y 兩個維度，還有一個時間維度T。LBP-TOP 特征描述算子在X-Y 平面上計算LBP 值，用于表征表情圖像幀的紋理特征；在XT 和Y-T 計算LBP 值，用于表征紋理的動態(tài)變化。例如，Zhao 等、Wang 等分別采用LBP-TOP 特征識別基本情緒面部表情和微表情[28-29]。相關研究中類似的動態(tài)外觀特征描述算子還有3D-HOG[30-31]、LPQTOP[32-33]、3D-SIFT[34]等。但是這類外觀動態(tài)特征描述算子在學界還存在爭議，相關研究顯示，這種人工設計的特征描述算子，很難提取到面部表情圖像幀之間的時域特征[35-36]。

（二）深度學習的方法

深度學習（Deep Learning，DL）作為人工智能領域重要的機器學習算法，已經在語音識別、圖像識別、自然語言處理等諸多領域，取得了突破性進展，受到了學術界和工業(yè)界的高度關注。傳統(tǒng)的機器學習依賴于人工特征提取，特征的選擇對機器學習算法的性能存在巨大的影響?？梢哉f，深度學習賦予計算機表征學習（Representation Learning）的能力，即計算機可以自我構建對事物的描述，形成概念，從而實現特征的自動提取（特征學習）[37]。利用深度學習提取面部表情特征的方式與人的視覺系統(tǒng)的信息處理方式相一致，即，首先提取低層的特征，然后逐層地將低層特征組合成高層特征。

1.基于靜態(tài)圖像的表情識別

用于靜態(tài)圖像面部表情識別的深度學習代表性算法是卷積神經網絡（Convolutional Neural Networks，CNN）。一個基本的CNN 由卷積層、池化層和全連接層組成。卷積層通過內部包含的多個卷積核（濾波器），在輸入圖像上進行特征提取；池化層則被用于降低數據維度。CNN 的首層卷積層提取圖像低階特征，比如，邊、角、曲線等，后續(xù)卷積層在前一層卷積層提取到的特征基礎上，進一步提取特征。通過卷積層與池化層的堆疊，實現高階特征提取，最后通過全連接層連接分類器。CNN 的架構設計是圖像識別任務中的核心環(huán)節(jié)，其中AlexNet 和VGGNet 是兩種在往年的ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽中獲得冠軍的CNN 架構，如圖2所示。這兩種網絡架構在圖像識別領域仍具有廣泛的應用前景，在靜態(tài)圖像面部表情識別領域尤為突出。利用CNN 識別面部表情的流程，如圖3所示。

圖2 兩個廣泛應用的CNN 模型的網絡結構

圖3 CNN 識別面部表情流程圖（圖中表情實例來自數據集CAS（ME）2）

研究者提出了各種不同的基于CNN 的面部表情識別方法。例如，Hamester 等設計雙通道的CNN識別面部表情，其中一個CNN 子網的第一層采用預置權重的Gabor 濾波作為卷積自編碼器，兩個CNN 子網提取的特征在融合后被用于識別面部表情[38]。Liu 等提出由多個CNN 子網組成的集成式CNN，用于面部表情特征自動提取和分類[39]。Liu Y 等則融合人工設計的特征（CBP，中心二值模式）和CNN 自動提取的特征識別面部表情[40]。曹曉明等則融合靜態(tài)圖像的面部表情、腦電波和學習日志三種模態(tài)數據，訓練CNN 模型判斷學習者參與度[41]。但是，已有研究在所設計的CNN 中所有卷積核的權值系數是隨機初始化的，需要在標注的樣本數據集上訓練CNN 模型，調節(jié)卷積核的權值系數，才能有效地提取面部表情特征，因此，需要大量的訓練數據用于模型的訓練。

2.基于動態(tài)圖像序列的表情識別

利用深度學習方法識別動態(tài)圖像序列的面部表情，不僅需要提取單幀圖像的空域特征，而且還需要提取圖像幀之間的時域特征。單幀圖像的空域特征提取可以通過CNN 實現，而提取序列時域特征的代表性算法則是循環(huán)神經網絡（Recurrent Neural Network，RNN）。RNN 的基本結構也是由輸入層、隱藏層和輸出層構成，不過隱藏層中每個神經元的輸入，除了當前時刻的信息輸入外，還有著前一時刻該神經元的輸出，所圖4所示。RNN 的這種架構，使其具有類似人的記憶功能，對處理時間序列數據具有獨特的優(yōu)勢。建構CNN-RNN網絡，同時提取面部表情的空域和時域特征，可以提升識別的準確性。Ebrahimi 等利用CNN 提取面部表情序列幀的空域特征，然后將所有幀的空域特征送入RNN，提取表情序列的時域特征，結合空時域特征識別面部表情[42]。Zhang 等從表情圖像序列中選擇代表幀圖像，利用CNN提取代表幀的空域特征，同時利用RNN 提取所有表情序列幀的面部特征點的時域特征，最后融合兩種特征識別面部表情[43]。

圖4 循環(huán)神經網絡示意圖

RNN 模型的訓練采用BPTT（Back-Propagation Through Time）算法反向傳播誤差，通過隨機梯度下降（Stochastic Gradient Descent）算法調節(jié)網絡參數，使得損失函數值達到最小。但是隨著序列長度增大，RNN 在訓練過程中會出現梯度消失問題，從而喪失學習序列時域特征的能力。為了解決這一問題，長短時 記 憶 網 絡（Long Short Term Memory Networks，LSTM）對RNN 的神經元進行進一步改造，增加記憶單元（Memory Cell）存儲每個時間點的神經元狀態(tài)值，并通過“遺忘門”、“輸出門”、“輸入門”，對記憶單元中的信息，進行移除或添加操作。LSTM 的記憶單元，使得網絡訓練時的誤差以常數形式在網絡中傳遞，防止梯度消失，從而實現對長序列數據的特征學習。實際的案例有卿粼波等將CNN 學習到的面部表情空域特征輸入LSTM 網絡，學習面部表情時域特征，識別群體情緒面部表情[44]。Kim 等則利用CNNLSTM 學習到的空時域特征，識別微表情[45]。

四、存在的問題與提升路徑

（一）學習者情緒面部表情識別研究現存問題

因為基本情緒是日常生活中發(fā)生頻率最高的情緒類別，所以，目前情緒面部表情識別研究領域，主要關注于基本情緒面部表情的識別研究，商業(yè)與娛樂是其主要的目標應用領域?；厩榫w只是人類情緒類別中的冰山一角，并不是學習情境中發(fā)生頻率高的情緒類別。但是，由于受基本情緒理論的影響，部分學習者情緒面部表情識別的相關研究，多為針對基本情緒面部表情的識別[46-48]。而實際上，研究者通過統(tǒng)計分析發(fā)現，在學習情境中出現頻率較高的情緒類別并不是基本情緒，而是疑惑、厭倦和挫敗等情緒類別[49-50]。因此，學習者情緒面部表情識別，應重點研究這幾類發(fā)生頻率較高的情緒識別，以及提高識別的準確率，為優(yōu)化學習支撐服務提供依據。

現有相關研究中的面部表情，可分為兩種類型：扮演的面部表情和自然的面部表情。因為面部表情識別研究需要大量的面部表情樣本數據，而較大規(guī)模地采集學習者情緒自然面部表情的難度較大。所以，部分研究者招募學生，以學習者情緒面部表情原型為基礎，在實驗室情境中扮演相應的面部表情，形成供研究使用的表情數據集。例如，Kaliouby 等的研究就是識別六類扮演的學習者情緒面部表情[51]。Lin等在研究學習者情緒面部表情識別時，在扮演的面部表情數據集上驗證模型效果[52]。首先，學習者扮演的面部表情通常肌肉運動幅度大，特征較明顯，持續(xù)時間可控；而學習者情緒自然面部表情則呈現肌肉運動幅度小、特征不明顯、持續(xù)時間短的特點。其次，扮演的面部表情和自然的面部表情在時間和空間模式上也存在差別[53]。在早期的探索性研究階段，為了推進相關研究的開展，研究識別扮演的學習者情緒面部表情無可厚非，但從推動研究應用的角度，后續(xù)應該著重研究自然的學習者情緒面部表情識別。

針對學習者情緒面部表情的識別問題，不同研究者提出不同的識別算法，構建面部表情識別模型，并通過實驗對模型的性能進行評估。大多數的相關研究，主要采用識別準確率評估模型的性能，但是，當測試數據集中于不同類別的表情樣本并呈現分布不均勻時，僅僅使用準確率并不能全面客觀地評估模型的性能。例如，由90%的正樣本和10%的負樣本組成的測試數據集，即使模型將所有的樣本都識別為正樣本，識別的準確率也只達到90%。因此，在評估學習者情緒面部表情識別模型時，應該采用多種評價指標，全面評估模型的性能，比如，混淆矩陣、ROC 曲線等。另外，現有相關研究采用研究者自己創(chuàng)建的面部表情數據集，測試評估模型的性能，同時，創(chuàng)建的數據集并未公開發(fā)布。這樣使得不同研究的識別方法無法在同一數據集上比較并識別性能，研究結果的可重復性受到限制，這不利于學習者情緒面部表情識別研究的發(fā)展。

（二）學習者情緒面部表情識別研究的提升路徑

1．面部表情數據庫的共建共享

創(chuàng)建大規(guī)模的自然學習者情緒面部表情數據庫，是推動學習者情緒面部表情識別研究和應用的關鍵環(huán)節(jié)。首先，數據庫的創(chuàng)建應有助于不同識別算法采用相同的數據集測試和評估模型的性能，能比較不同方法的優(yōu)劣，從而促進學習者情緒面部表情識別的發(fā)展。其次，基于深度學習方法的面部表情識別，已經表現出優(yōu)秀的性能，但其本質上是一種數據驅動的識別方法，在構建的深度神經網絡中，存在許多訓練參數，需要通過大量的表情樣本數據，來調節(jié)網絡參數（又稱模型訓練）。大規(guī)模的自然學習者情緒面部表情數據庫的創(chuàng)建，是一項耗時耗力的工程，數據的采集和預處理、數據標注等都需要花費大量的人力和物力。共建共享的創(chuàng)建方式，可以更快地推進數據庫的創(chuàng)建，擴充數據庫的容量，更好地為相關研究提供大數據的支持。

2．融合多種特征的識別方法

真實學習情境中的自然學習者情緒面部表情，通常面部肌肉運動幅度小，特征表現不明顯，具有部分微表情的特性。單一類型特征表征的識別方法，準確率較低，難以滿足實用性要求。面部表情產生時會伴隨著眉毛、眼睛、鼻子、嘴巴等單個或多個面部器官的形變（即幾何特征），同時也伴隨有臉部皺紋、溝紋、紋理等的變化（即外觀特征）?？梢?，面部表情的產生是一個動態(tài)的過程，其經歷開始、峰值和結束三個階段。因此，面部表情不僅帶有空間域特征，還具有時間域特征。針對自然學習者情緒面部表情特征所表現出的復雜而不明的特點，我們需要提取多種類型的面部表情特征進行表征，全面地獲取面部表情的特征信息，才能有效地提升面部表情識別的準確性，推動學習者情緒面部表情識別技術的實用化。

3．結合人工設計特征和自動學習特征的識別方法

特征提取是學習者情緒面部表情識別的核心步驟，包括人工設計特征和自動學習特征兩種類型方法。人工設計特征是指通過設計特征描述算子，顯式地提取表情特征；自動學習特征則是利用深度學習的方法，從面部表情樣本中逐層學習表情特征，最終得到抽象的表情特征。兩種方法都有其優(yōu)點和局限性，人工設計特征利用特征描述算子，直接從表情實例中計算并提取特征，提取的特征可解釋性強；但是，提取的特征的好壞，依賴于專業(yè)知識、經驗和運氣，全面提取表情特征信息的難度較大。自動學習特征能從大量表情訓練樣本中，挖掘出用于表情識別的有效的、抽象的、深層次的特征；但是，這種方法需要足夠多的訓練樣本數據，才能實現有效的特征提取。因此，結合人工設計特征和自動學習特征兩種特征的提取方法，取長補短，融合兩種方法的優(yōu)勢，是促進學習者情緒面部表情識別發(fā)展的可選途徑。

五、思考與展望

以計算機視覺、人工智能、情感計算等新興技術為支撐，計算機可以通過識別學習者外顯的面部表情的方式，來判斷學習者內隱的情緒狀態(tài)，從而獲取識別、理解學習者情緒的能力。本研究在對情緒心理學研究領域的兩類情緒表征方法，進行對比分析的基礎上，確定學習者情緒識別適用的表征方法，并對基于面部表情的學習者情緒識別的適切性進行闡述。

當前，學習者面部表情識別研究的核心問題，是如何有效提取面部表情的特征。因此，本研究將面部表情的特征提取方法，分為傳統(tǒng)的計算機視覺方法和深度學習方法兩大類，梳理不同特征提取方法的特點及局限性，可以為探索適合學習者面部表情識別的特征與提取算法提供借鑒，從而推動學習者面部表情識別研究的發(fā)展和應用。針對學習者情緒面部表情識別相關研究中存在的問題，后續(xù)研究應該更為關注在學習情境中發(fā)生頻率較高的情緒面部表情識別，而非對基本情緒面部表情的識別；應該關注真實情境中自然面部表情識別，而非實驗室情境中扮演的面部表情識別；應該結合基于專家知識的人工設計特征方法和數據驅動的自動學習特征方法，全面有效地提取學習者面部表情的本質特征，從而提升識別的準確性。

賦予計算機識別學習者情緒面部表情的能力，是一項充滿挑戰(zhàn)性的任務，但也具有廣闊的應用前景。盡管當前的研究還處于探索階段，一些研發(fā)的技術應用也還不夠完善，但是隨著研究的繼續(xù)深入和相關技術的成熟，勢必將對教育產生深遠影響。對于課堂教學環(huán)境，面部表情識別可以用于監(jiān)測學習者情緒狀態(tài)，幫助教師進行教學決策，輔助教學效果的評價。而對于在線學習環(huán)境和各種智能教學系統(tǒng)，面部表情識別也有著廣泛的應用前景：（1）能夠完善學習者模型的構建，使之不僅包括學習者基本信息和認知層面的屬性特征，還能涵蓋學習者情緒狀態(tài)屬性，為實施智能化、個性化的教學提供依據；（2）能夠通過面部表情監(jiān)測學習者情緒狀態(tài)，并以此為依據實現機器情感模擬，解決學習過程中的情感缺失問題；（3）能夠豐富學習行為分析的途徑，可以與學習平臺的日志數據相結合，共同分析學習者行為。

學習者情緒作為一項重要的教學反饋信息，得到國內外研究者的普遍重視。在學習過程中，通過面部表情識別，實時地獲取“知識點—情緒”形式的反饋信息，判斷學習者對當前學習內容是否感興趣、是否理解，有助于智慧教學系統(tǒng)的構建?；诿娌勘砬榈膶W習者情緒識別研究的應用，依賴于準確、實時、魯棒的面部表情識別算法設計。未來研究的趨勢，首先，將繼續(xù)探究從人臉圖像中有效地提取表情本質特征的方法，縮小面部表情的類內特征差異和擴大類間特征差異，以提高識別的準確性。其次，繼續(xù)探究魯棒的（Robust）面部表情特征提取算法的設計，降低環(huán)境及個體差異、面部遮擋等因素對面部表情特征提取的干擾。再次，未來將繼續(xù)探究實時性的面部表情識別與算法設計，提升學習者面部表情檢測和識別速度，滿足實時性需求。最后，融合多種模態(tài)的數據識別學習者情緒，也是重要的研究方向之一。例如，融合頭部姿態(tài)估計、視線跟蹤、面部表情、生理信號，來識別學習者情緒。但基于融合多模態(tài)數據的學習者情緒識別研究的應用，需要依賴于數據采集與監(jiān)測技術的發(fā)展，需要降低數據采集、監(jiān)測技術的應用門檻，并減少對學習者的干擾。