王殿林

摘要：為解決班級授課制課堂中個別學(xué)員學(xué)習(xí)投入不佳問題，設(shè)計(jì)實(shí)現(xiàn)了一個基于人臉表情識別的課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)。系統(tǒng)實(shí)時獲取學(xué)生面部照片信息并使用VGGNET進(jìn)行表情識別，通過獲取到的知識點(diǎn)難易度指標(biāo)數(shù)據(jù)和課堂授課進(jìn)度信息，挖掘出指征學(xué)生學(xué)習(xí)投入水平的面部表情時序關(guān)系，并應(yīng)用于系統(tǒng)對教師進(jìn)行“干預(yù)信息”提示。系統(tǒng)在真實(shí)教學(xué)場景應(yīng)用效果較好，能夠根據(jù)表情時序關(guān)系模式及時向教師提示需要干預(yù)的學(xué)生，提升了課堂中學(xué)生整體的學(xué)習(xí)效率。

關(guān)鍵詞：課堂學(xué)情態(tài)勢感知；表情時序關(guān)系模式；干預(yù)提示

中圖分類號：TP18? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）34-0026-03

1 概述

課堂教學(xué)是各類學(xué)校培養(yǎng)人才的基礎(chǔ)環(huán)節(jié)和重要組成部分。課堂教學(xué)作為學(xué)校教學(xué)的基本組織形式，學(xué)生能否深度學(xué)習(xí)達(dá)成預(yù)期教學(xué)目標(biāo)是關(guān)鍵，研究學(xué)生在課堂學(xué)習(xí)中的學(xué)習(xí)投入問題具有一定現(xiàn)實(shí)意義。學(xué)習(xí)投入指的是學(xué)生在學(xué)習(xí)活動中的認(rèn)知、行為和情感投入[1]。本研究關(guān)注的是學(xué)生的學(xué)習(xí)情感態(tài)度投入，也就是學(xué)生在課堂學(xué)習(xí)過程中的情感體驗(yàn)，需要考察積極的情感體驗(yàn)、消極的情感體驗(yàn)以及一些中性的情感體驗(yàn)。

研究表明，情緒對感知、注意、記憶、學(xué)習(xí)、推理及其問題解決等認(rèn)知加工過程具有重大影響[2]?；诖?，采用智能硬件及攝像設(shè)備實(shí)時捕捉課堂授課中學(xué)生的面部表情照片，通過部署于智能硬件中的深度學(xué)習(xí)模型VGGNET[3]分析學(xué)生的面部表情，結(jié)合課前依據(jù)課堂講授內(nèi)容知識點(diǎn)設(shè)置的難易度指標(biāo)，分析面部表情與學(xué)情態(tài)勢的相關(guān)性，進(jìn)而挖掘出學(xué)生學(xué)習(xí)投入的指向性面部表情組合關(guān)系指標(biāo)，反過來應(yīng)用于教學(xué)指導(dǎo)和教師介入，便于教師對學(xué)習(xí)投入不佳學(xué)生進(jìn)行積極干預(yù)，主動幫助學(xué)生“回歸”課堂，提升課堂學(xué)習(xí)的總體效率。

本文的研究內(nèi)容主要是設(shè)計(jì)實(shí)現(xiàn)課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)，基于部署于智能硬件的VGGNET對捕獲的學(xué)生面部照片進(jìn)行表情識別，關(guān)聯(lián)知識點(diǎn)難易度指標(biāo)，推理出幾個指征學(xué)生學(xué)習(xí)投入水平的面部表情時序關(guān)系，應(yīng)用于教學(xué)指導(dǎo)。

2 背景概要

現(xiàn)代社會，隨著教學(xué)內(nèi)容的增加和人才需求的加大，為了提高教學(xué)效率，院校的教學(xué)組織形式一般采用班級授課制。班級授課制很好地順應(yīng)了工業(yè)時代經(jīng)濟(jì)快速發(fā)展的潮流，符合現(xiàn)代學(xué)校發(fā)展和普及大眾教育的基本需要。隨著第三次科技革命浪潮的推進(jìn)，諸如網(wǎng)絡(luò)教學(xué)、虛擬教學(xué)、線上線下混合式教學(xué)等新的教學(xué)組織形式也逐漸被人們所接受，開始得到應(yīng)用。新冠肺炎疫情在全球肆虐后，更加速了新教學(xué)組織形式的應(yīng)用和推廣。

盡管新的教學(xué)組織形式有利于提升教學(xué)質(zhì)量，但傳統(tǒng)的班級授課制仍是主要的教學(xué)組織形式，仍是院校組織教學(xué)活動各要素完成教學(xué)任務(wù)的主要形式。在課堂中組織教學(xué)活動，一方面便于學(xué)校實(shí)施教學(xué)計(jì)劃，便于教學(xué)管理和評價，提高教學(xué)效率，各類學(xué)習(xí)活動可以穩(wěn)步推進(jìn)；另一方面，也存在難以滿足學(xué)生的個性化特異化需求，學(xué)生學(xué)習(xí)狀態(tài)難以整體掌控分類干預(yù)，學(xué)生主體性創(chuàng)新性受限制等問題。其中，學(xué)生學(xué)習(xí)狀態(tài)差異化明顯問題在傳統(tǒng)的傳授知識課中尤其明顯。

從學(xué)習(xí)體驗(yàn)角度分析，學(xué)生在傳授知識課中一旦出現(xiàn)學(xué)習(xí)狀態(tài)不佳問題，想通過自我調(diào)節(jié)的方式回歸課堂，回到教師的講課思路上來，往往比較困難。即使能夠回歸，由于存在一定時間的偏移，再次進(jìn)入課堂，可能存在“與前序知識銜接不上”“跳過關(guān)鍵知識點(diǎn)”等問題，可能導(dǎo)致再次思緒偏離甚至自我放棄。因此，在學(xué)生剛出現(xiàn)“學(xué)習(xí)狀態(tài)不佳”傾向性狀態(tài)之前就進(jìn)行干預(yù)，可以幫助學(xué)生快速回歸課堂，提高學(xué)習(xí)效率。

學(xué)生“學(xué)習(xí)狀態(tài)不佳”的狀態(tài)可以通過肢體動作、情緒等外在表現(xiàn)反饋。研究關(guān)注情緒與“學(xué)習(xí)狀態(tài)”“學(xué)習(xí)投入”的關(guān)系，期望通過技術(shù)手段獲取學(xué)生情緒信息與“學(xué)習(xí)狀態(tài)”的關(guān)聯(lián)，進(jìn)而對授課中的教師進(jìn)行提示以便進(jìn)行人工干預(yù)。已有研究關(guān)注于使用人工智能技術(shù)進(jìn)行學(xué)情分析：一種方法[4]是在課堂教學(xué)中采用人臉識別技術(shù)識別抬頭率，分析學(xué)生的學(xué)習(xí)專注度，進(jìn)而為后續(xù)實(shí)施教學(xué)分析提供參考；另一種策略[5]針對教師不能及時掌握學(xué)生情緒變化而及時調(diào)整課程進(jìn)度問題，歸納學(xué)生7種表情與對應(yīng)“學(xué)習(xí)狀態(tài)”理解，設(shè)計(jì)實(shí)現(xiàn)了一個學(xué)生情緒識別系統(tǒng)，可以為教師提出針對性教學(xué)建議。

為了更有效實(shí)時地幫助教師識別“學(xué)習(xí)投入”不佳學(xué)生，研究設(shè)計(jì)實(shí)現(xiàn)了課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)，應(yīng)用VGGNET深度學(xué)習(xí)模型識別學(xué)生情緒特征，并不是簡單地將這些特征與“學(xué)習(xí)狀態(tài)”關(guān)聯(lián)，而是將時序情緒特征看作是“學(xué)習(xí)狀態(tài)”的特征，進(jìn)而挖掘出反應(yīng)“學(xué)習(xí)狀態(tài)”差的時序情緒序列，并與當(dāng)前授課進(jìn)程中知識點(diǎn)難易度進(jìn)行關(guān)聯(lián)分析，以便更好地為教師干預(yù)學(xué)習(xí)投入不足的學(xué)生提供指導(dǎo)。

3 課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)設(shè)計(jì)概況

課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)分為硬件和軟件兩部分。硬件采用NVIDIA Jetson Xavier NX SUB開發(fā)板套件。Jetson Xavier NX是一款英偉達(dá)設(shè)計(jì)生產(chǎn)的嵌入式主板，搭載了6核ARM架構(gòu)的64位CPU和384核Volta架構(gòu)的GPU以及48個向量計(jì)算核心，AI算力達(dá)到21 TOPS，適用于嵌入式系統(tǒng)和邊緣計(jì)算開發(fā)，可被視為一臺適合部署深度學(xué)習(xí)模型的強(qiáng)算力計(jì)算機(jī)。

軟件部署于硬件之上，主要是基于VGGNET模型的Python程序，用于進(jìn)行人臉表情識別。同時，實(shí)時獲取教師正在講授的知識點(diǎn)和難易度指標(biāo)信息?；诮y(tǒng)計(jì)學(xué)原理，挖掘?qū)W生面部表情時序關(guān)系，從而指導(dǎo)教學(xué)實(shí)踐。圖1為系統(tǒng)架構(gòu)圖，主要是獲取人臉圖片數(shù)據(jù)和實(shí)時知識點(diǎn)授課進(jìn)度和知識難易度指標(biāo)數(shù)據(jù)，經(jīng)由“課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)軟件分析子系統(tǒng)”處理，最終完成輔助教學(xué)指導(dǎo)任務(wù)。

圖2為“課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)軟件分析子系統(tǒng)”的模塊關(guān)系圖，由四個模塊構(gòu)成：知識點(diǎn)難易度獲取模塊、表情識別模塊、表情特征模式分析提取模塊、輔助教學(xué)指導(dǎo)模塊。知識點(diǎn)難易度獲取模塊接收智慧屏中當(dāng)前課程講次的知識點(diǎn)實(shí)時進(jìn)度和預(yù)先設(shè)定的知識點(diǎn)難易度指標(biāo)數(shù)據(jù)，交由表情特征模式分析提取模塊使用；表情識別模塊收集攝像頭定期拍攝到的人臉照片后，采用VGGNET深度學(xué)習(xí)模型識別出學(xué)生的表情信息并進(jìn)行標(biāo)記交由表情特征模式分析提取模塊使用；表情特征模式分析提取模塊收集前述兩方面數(shù)據(jù)后，綜合分析數(shù)據(jù)，使用統(tǒng)計(jì)學(xué)方法抽取與知識點(diǎn)難易度強(qiáng)相關(guān)的表情時序關(guān)系并保存；輔助教學(xué)指導(dǎo)模塊根據(jù)成熟的表情時序關(guān)系模式結(jié)合表情識別模塊的實(shí)時數(shù)據(jù)，對學(xué)生學(xué)習(xí)投入情況進(jìn)行判定，選擇最需干預(yù)的學(xué)生，并通過智慧屏進(jìn)行預(yù)警，教師根據(jù)課堂情況自主決定干預(yù)方法。

4 表情時序關(guān)系模式

根據(jù)美國心理學(xué)家Ekman等人的研究結(jié)論[6]，情緒包括：高興、驚訝、悲傷、擔(dān)憂、生氣、厭惡6種基本情緒，同時加入中性情緒作為非6類情緒的補(bǔ)充?；谥仉y點(diǎn)知識學(xué)生學(xué)習(xí)狀態(tài)普遍不佳的假設(shè)，反應(yīng)“學(xué)習(xí)狀態(tài)”差的時序情緒序列模式由上述6種基本情緒構(gòu)成。為了挖掘出上述時序情緒序列模式，使用已構(gòu)建好的課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)針對信息系統(tǒng)設(shè)計(jì)與應(yīng)用課程進(jìn)行探索性研究。信息系統(tǒng)設(shè)計(jì)與應(yīng)用課程是信息系統(tǒng)工程專業(yè)的專業(yè)背景課程，學(xué)生在學(xué)習(xí)了大學(xué)計(jì)算機(jī)基礎(chǔ)、程序語言、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫系統(tǒng)等方面的知識后，通過該課程的學(xué)習(xí)進(jìn)一步從系統(tǒng)規(guī)劃分析設(shè)計(jì)的角度審視信息系統(tǒng)的構(gòu)建過程，具備抽象和逐步求精的設(shè)計(jì)理念，從而為形成系統(tǒng)思維打下基礎(chǔ)。

以“結(jié)構(gòu)化的分析”這堂課為例，共有39名學(xué)生聽課學(xué)習(xí)。在探索挖掘時序情緒序列模式時，課前，通過課程教學(xué)組集體備課研究，選定了12個知識點(diǎn)和3個知識難點(diǎn)，并在課件的相應(yīng)位置進(jìn)行了標(biāo)注。表1展示的是知識點(diǎn)難易度以及在課程進(jìn)度中的位置關(guān)系。課中，與智能硬件連接的攝像頭以10秒為間隔實(shí)時捕獲學(xué)生的情緒信息，結(jié)合智慧屏中教師講解課件的進(jìn)度信息，生成39組與知識點(diǎn)信息關(guān)聯(lián)的學(xué)生基本情緒序列。針對難、中、易得知識點(diǎn)信息進(jìn)行基于統(tǒng)計(jì)的相似時序情緒序列模式識別，最終挖掘出的表情時序關(guān)系模式如表2所示。

5 教學(xué)應(yīng)用效果及前景

系統(tǒng)識別出情緒序列模式后，應(yīng)用到后續(xù)課堂教學(xué)中，發(fā)現(xiàn)對教師有一定的輔助作用，序列模式觸發(fā)系統(tǒng)報警并篩選出最需干預(yù)學(xué)生一般出現(xiàn)在重難點(diǎn)知識講解的中后段，且序列模式持續(xù)觸發(fā)多名學(xué)生告警。針對上述情況，教師及時調(diào)整設(shè)計(jì)好的授課安排，將時間線往回?fù)?，通過提問、課堂小練習(xí)、小討論等方式緩解學(xué)生的擔(dān)憂焦慮甚至是悲傷情緒，從疑問點(diǎn)出發(fā)進(jìn)行回溯，幫助學(xué)生理清思路，查找問題癥結(jié)，跳出誤區(qū)，實(shí)現(xiàn)知識的理解。因此，在系統(tǒng)調(diào)優(yōu)中，針對此類成規(guī)模地觸發(fā)系統(tǒng)告警的問題，系統(tǒng)及時做修正，不再提示干預(yù)某一個學(xué)生，而是提示采用集體干預(yù)策略。

由于不同類知識的學(xué)習(xí)存在顯著的差異性，在后續(xù)研究中將針對不同的課程進(jìn)行針對性的情緒序列提取工作。期望系統(tǒng)能夠應(yīng)用于更多的課程中，協(xié)助教師開展授課活動。同時，學(xué)習(xí)活動是雙向的，既需要老師的教授過程，更需要學(xué)生的積極參與其中，因此系統(tǒng)的提示性信息是否可以公開展示在課堂中或以某種方式悄悄地提示學(xué)生本人也是未來需要研究的方向。

6 結(jié)束語

本文設(shè)計(jì)實(shí)現(xiàn)了一個課堂學(xué)情態(tài)勢感知輔助教學(xué)系統(tǒng)，系統(tǒng)通過智能硬件上的攝像頭捕獲學(xué)生課堂面部表情照片，采用VGGNET深度學(xué)習(xí)模型分析表情信息，結(jié)合智慧屏傳輸?shù)恼n程進(jìn)度信息和知識點(diǎn)難易度指標(biāo)信息，挖掘出一組關(guān)于學(xué)生“學(xué)習(xí)狀態(tài)”差的時序情緒序列，應(yīng)用于系統(tǒng)進(jìn)一步實(shí)時監(jiān)測學(xué)生學(xué)習(xí)狀態(tài)，輔助教師進(jìn)行人工干預(yù)。系統(tǒng)可用于真實(shí)教學(xué)場景，輔助教學(xué)工作，提升班級授課制教學(xué)組織形式中學(xué)生整體的學(xué)習(xí)效率。

參考文獻(xiàn)：

[1] 何佳.碩士研究生學(xué)習(xí)投入現(xiàn)狀的實(shí)證研究——以J大學(xué)為例[D].南昌：江西師范大學(xué)，2015.

[2] Tyng C M，Amin H U，Saad M N M，et al.The influences of emotion on learning and memory[J].Frontiers in Psychology，2017（8）：1454.

[3] Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].[2021-10-20].2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556.

[4] 湯雙霞.基于改進(jìn)神經(jīng)算法在課堂人臉識別學(xué)情分析應(yīng)用研究[J].信息系統(tǒng)工程，2019（11）：122-123.

[5] 李鵬.輔助大學(xué)課堂教學(xué)的端到端學(xué)生情緒識別系統(tǒng)的研究[D].成都：電子科技大學(xué)，2020.

[6] Ekman P.Emotions Revealed： Recognizing Faces and Feelings to Improve Communication and Emotional Life[M].Glasgow：Times Books，2003.

【通聯(lián)編輯：王力】