尚明 郭小燕

關鍵詞：深度學習；面部表情識別；行為特征識別；模糊綜合評價算法；課堂專注度

0 引言

目前，在課堂教學中，缺乏對學生學習專注度的量化評估技術方法，這使得教師很難客觀全面地了解學生的學習狀態(tài)。這對于評估課堂學習效率和教學質(zhì)量產(chǎn)生了重要的影響。因此，研究學生課堂專注度檢測方法變得至關重要。

該系統(tǒng)將面部表情識別模型和行為特征識別模型進行融合[1]，構(gòu)建了一個基于面部表情識別和行為特征識別的課堂專注度模型。提升學生課堂專注度以及自主思考與學習能力，教師通過課堂專注度評價數(shù)據(jù)掌握學生對于課程的感興趣程度，從而及時了解學情，為改善教學方法與手段，提升教學效果提供客觀依據(jù)。

1 表情識別

表情識別主要包括人臉數(shù)據(jù)采集、圖像預處理、表情特征提取、表情分類和表情識別等五個處理步驟，如圖1所示。

通過攝像頭獲取的學生面部圖像，送入表情識別模型識別表情，獲取開心、驚訝、悲傷、害怕、生氣、厭惡和中性等以下7種表情，如圖2所示。

1.1 數(shù)據(jù)集

KDEF表情數(shù)據(jù)集是一個開源數(shù)據(jù)集，最初用于有關記憶、注意力、感知和情緒表達的心理學和醫(yī)學研究。數(shù)據(jù)集有4 900張圖像，包含7種表情，分別是開心、驚訝、悲傷、害怕、生氣、厭惡和中性[2]。

1.2 模型介紹

本文采用了遷移學習技術，基于預訓練的VGG16 模型[3]，針對面部表情識別任務進行了研究。利用VGG16模型在KDEF數(shù)據(jù)集上學習到的豐富面部表情特征，構(gòu)建了一個CNN表情分類模型。通過微調(diào)VGG16模型的卷積部分，并結(jié)合自定義全連接層，實現(xiàn)了對不同面部表情的準確分類。

2 行為識別

在真實的課堂環(huán)境中，學生會不斷地移動視角，攝像頭無法識別學生的面部表情。這時學生的頭部姿勢和各種行為可能會透露出一些關于他們專注程度的信息。例如，觀察學生面部和上半身的姿勢偏轉(zhuǎn)，可以獲取一些關于他們專注程度的信息。如果學生端正地保持面部和身體的姿勢，可能表明他們的注意力較為集中。然而，如果學生的面部和身體不端正，例如低頭看書、表現(xiàn)出心事重重或與他人交談，或者轉(zhuǎn)頭和轉(zhuǎn)身等，很可能表示他們的注意力沒有集中。因此，在面部表情識別的基礎上，將行為特征作為評價學生專注度的另一標準，從而提高課堂專注度檢測的準確性。

行為特征識別是結(jié)合面部和身體特征為判斷基準，將行為特征分為：頭部嚴重偏轉(zhuǎn)，身體嚴重偏轉(zhuǎn)，低頭睡覺，頭部身體無明顯偏轉(zhuǎn)，趴著等5種類別[4]。

行為特征識別主要包括視頻模塊、目標檢測模塊、行為估計模塊、動作分類模塊和標注可視化模塊等5個模塊，如圖3所示。

2.1 模型介紹

AlphaPose[5]是一個精確的多人姿態(tài)估計器。在圖像或視頻中，人體重要位置的坐標信息以及關鍵點的結(jié)構(gòu)是人體姿態(tài)估計算法的首要目標，這些關鍵點的預測可以確定人體姿態(tài)。人體姿態(tài)估計算法根據(jù)不同的預測技術可分為自上而下和自下而上兩大類。

自上而下方法通過目標檢測識別圖像中的每個人，然后在獲得目標邊界框后估計每個目標的單人姿態(tài)。然而，在多人場景中，自上而下的方法需要正確地將關鍵點分配給每個檢測到的人體，這會導致檢測速度降低。自下而上的方法首先將檢測環(huán)境中所有關節(jié)節(jié)點進行組合，拼接得到骨架。自下而上的方法直接關注關鍵點的檢測，因此在處理遮擋、復雜背景和多人場景時通常更具魯棒性。然而，如果兩個人距離很近容易混淆，對全局信息的獲取也有一定欠缺，容易出現(xiàn)誤檢。

在多人姿態(tài)場景問題中，首先通過空間變換網(wǎng)絡接收人體邊界框，SDTN 產(chǎn)生人體推薦區(qū)域。并行的SPPE在訓練階段有助于模型更準確地捕捉關鍵點。其次，參數(shù)化姿態(tài)非最大抑制用于剔除冗余檢測框或關鍵點。最后，姿態(tài)引導的區(qū)域框生成器用來增強訓練樣本。本文使用的Alp?haPose 代碼實際上是yolov3-spp 行人檢測、姿態(tài)關鍵點檢測和ReID進行行人重識別算法的組合。AlphaPose的結(jié)構(gòu)如圖4所示。

2.2 數(shù)據(jù)集

Halpe136關鍵點數(shù)據(jù)集[6]是一個用于人體姿態(tài)估計的數(shù)據(jù)集。該數(shù)據(jù)集包含136個關鍵點，用于描述人體的姿態(tài)和動作。每個關鍵點表示人體的特定部位，如臉部、全身、手部等。數(shù)據(jù)集中的圖像是從真實場景中采集的，包括各種不同的動作和姿勢。其中面部關鍵點如圖5所示。

2.3 模型參數(shù)

Alphapose模型在訓練時需要設置多個超參數(shù)，這些參數(shù)的設定會影響模型的收斂和精度。具體設置如表1所示。

3 課堂專注度模型建立

3.1 面部表情與行為類別及權(quán)重劃分

根據(jù)學生在課堂中的表現(xiàn)，將專注度評價劃分為三個等級，分別為專注、較專注和不專注，分別用符號Ⅰ、Ⅱ、Ⅲ表示，如表2所示。

在真實的課堂環(huán)境中，積極的表情通常與高專注度相關。當學生專注時，他們可能會展現(xiàn)出興奮、興致勃勃的表情，表明他們對教學內(nèi)容感興趣并主動參與。例如，他們可能展現(xiàn)出微笑、眉毛上揚、眼睛睜大等積極的表情。相反，消極的表情往往與低專注度相關。當學生注意力不集中時，他們可能表現(xiàn)出厭煩、倦怠或無聊的表情。例如，他們可能皺起眉頭、嘴角下沉、眼睛瞇起等消極的表情。

在表情識別的基礎上，行為特征一定程度上反映了學生的上課專注度程度。當學生的頭部和身體偏轉(zhuǎn)程度較高時，可能意味著他們的專注度較低。這種偏轉(zhuǎn)可能是因為學生轉(zhuǎn)向他人交談、分心看周圍環(huán)境或其他不相關的事物，失去了對課堂內(nèi)容的關注。相反，當學生的頭部和身體偏轉(zhuǎn)程度較低時，通常意味著他們的專注度較高。這種情況下，學生保持身體端正、面向教師或課桌，并且沒有明顯的分心行為。這表明他們將注意力集中在課堂內(nèi)容上，與教師和其他學生保持有效的目光接觸，展現(xiàn)出務實和專注的學習姿態(tài)。

將上述7種表情和五種行為類別以注意力集中程度為標準進行劃分[7]，如表3所示。

課堂專注度評價中一級指標分別是面部表情和行為特征，權(quán)重分別用 W1 和 W2 表示。二級指標權(quán)重分別一一對應 W11、W12、W13 和 W21、W22、W23，如表4 所示。

3.2 課堂專注度模型建立

基于面部表情和行為特征分析，引用了模糊綜合評價算法[8]來計算學生的專注度分數(shù)。該算法能夠根據(jù)不同因素的權(quán)重，綜合考慮學生在表情和行為方面的表現(xiàn)，定量評估他們的專注程度。

3.2.1 構(gòu)建單因素評價矩陣

1） 確定面部表情評價矩陣：

2） 確定行為特征評價矩陣：

3.2.2 確定因素權(quán)向量

1） 確定面部表情的權(quán)向量：

2） 確定行為特征的權(quán)向量：

3.2.3 建立綜合評價模型

1） 建立面部表情評價模型：

2） 建立行為特征評價模型：

3） 融合面部表情和行為特征的評價模型，得到課堂專注度評價模型[9]。

4） 計算課堂專注度得分：

本文使用VGG16遷移生成的表情識別模型用于學生課堂表情識別和AlphaPose姿態(tài)模型用于檢測學生行為并引入模糊綜合評價算法進行學生專注度評估。專注度檢測模型結(jié)構(gòu)如圖6所示。

3.3 課堂專注度評價

首先，輸入視頻經(jīng)過采樣、檢測獲取學生的位置信息，分別進行識別表情和行為特征，并應用模糊綜合評價算法得到全體學生和整體課堂的專注度得分。專注度評價流程如圖7所示[10]。

本文利用專注度分數(shù)來衡量學生在課堂上的專注程度。其中，專注度分數(shù)越高表示學生個體越專注，而專注度分數(shù)越低則表示學生個體的專注程度較低。這種分數(shù)的計算通?；趯W生在課堂中行為和表現(xiàn)的觀察、記錄和評估。較高的專注度分數(shù)暗示著學生在課堂上展現(xiàn)出積極地參與和專注態(tài)度，他們可能會積極參與討論、提出問題，并表現(xiàn)出對學習內(nèi)容的興趣和理解。而較低的專注度分數(shù)則意味著學生可能表現(xiàn)出分心、不專注和缺乏參與度的行為。

通過聯(lián)合表情識別模型和人體姿態(tài)模型，并結(jié)合模糊綜合評價算法，能夠更全面地評估學生的專注度。表情識別模型可以捕捉學生的面部表情變化，而人體姿態(tài)模型則可以監(jiān)測學生的身體姿勢和動作，使我們能夠更準確地計算課堂專注度分數(shù)。

3.4 開發(fā)環(huán)境

實驗使用Linux操作系統(tǒng)作為實驗環(huán)境。詳細情況如表5所示。

4 實驗結(jié)果

4.1 表情檢測結(jié)果

通過攝像頭采集到的人臉數(shù)據(jù)，經(jīng)過預處理和特征提取等步驟，對人臉圖像進行分析。然后，將提取到的特征輸入表情識別模型，輸出表情類別的結(jié)果，具體如圖8和圖9所示。

4.2 行為檢測結(jié)果

獲取到上半身的圖像，檢測面部和身體的關鍵點，將其輸入行為識別模型進行分析和識別，然后得出行為類別，具體如圖10和圖11所示。

4.3 專注度評價結(jié)果

基于面部表情和行為特征兩種因素，通過模糊綜合評價算法得到專注度評價結(jié)果，具體如圖12所示。

5 結(jié)束語

本文設計了一種基于實時課堂教學的專注度評價模型，通過分析學生的課堂表情和行為特征來計算他們的專注度得分。在面部表情識別方面，采用了VGG16卷積神經(jīng)網(wǎng)絡模型；在行為特征識別方面，結(jié)合了面部和身體特征為判斷基準。通過引入模糊綜合評價算法計算課堂專注度得分。教師可以借助這些得分來了解學生的學習狀態(tài)和需求，從而調(diào)整教學策略和方法，提高學生的學習效果。此外，基于學生群體的整體專注度得分，教師還可以評估和改進課堂教學的質(zhì)量和效果。