韓毅 王旭彬 郭圓輝

摘 要：線上教學(xué)在疫情期間得到廣泛應(yīng)用，但是在授課過程中，教師沒有精力關(guān)注每一位學(xué)生對講授內(nèi)容的實時反應(yīng)，無法針對性地調(diào)整授課方案，導(dǎo)致教學(xué)效果不佳。因此，本文開發(fā)了基于深度學(xué)習(xí)的線上教學(xué)學(xué)情監(jiān)測系統(tǒng)。該系統(tǒng)采用Yolov3算法，結(jié)合攝像頭實時采集的視頻畫面，對學(xué)生進(jìn)行檢測定位，計算學(xué)生在線時間。同時，其使用Dlib開源庫檢測學(xué)生面部特征點，對學(xué)生進(jìn)行困倦狀態(tài)識別，并生成課堂學(xué)情報告，分析學(xué)生出勤、學(xué)習(xí)狀態(tài)數(shù)據(jù)。測試表明，該系統(tǒng)響應(yīng)迅速，可靠性較高，能準(zhǔn)確判斷學(xué)生的學(xué)習(xí)狀態(tài)，具有較好的實際應(yīng)用價值。

關(guān)鍵詞：學(xué)生監(jiān)測;深度學(xué)習(xí);人臉特征點檢測

中圖分類號：G434;TP391文獻(xiàn)標(biāo)識碼：A文章編號：1003-5168（2021）03-0019-03

Study on Monitoring System of Learning Situation in Online

Teaching Based on Deep Learning

HAN Yi WANG Xubin GUO Yuanhui

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： Online teaching has been widely used during the epidemic， but in the course of teaching， teachers did not have the energy to pay attention to the real-time response of each student to the content of the lecture， and could not adjust the teaching plan in a targeted manner， resulting in poor student learning. Therefore， this paper developed an online education monitoring system based on deep learning. The system uses the Yolov3 algorithm， combined with the real-time video images collected by the camera， detects and locates students， and calculates the online time of students. At the same time， it uses the Dlib open source library to detect student facial feature points， recognize students' sleepiness status， and generate classroom learning reports， and analyze all students' absenteeism and learning status data. Tests show that the system responds quickly， has high reliability， can accurately judge the learning status of students， and has high practical application value.

Keywords： student monitoring;deep learning;face feature point detection

2019年底，新冠肺炎疫情暴發(fā)，為了避免學(xué)生聚集，多所學(xué)校于2020年初采用線上教學(xué)代替線下教學(xué)。線上教學(xué)模式在帶來便捷的同時，也存在一些問題，例如，學(xué)生在學(xué)習(xí)過程中存在困倦、睡覺甚至中途離開的情況。教師在進(jìn)行線上教學(xué)時主要關(guān)注教學(xué)內(nèi)容及學(xué)生提問，不能兼顧學(xué)生的實時聽課狀態(tài)。因此，如何在線上教學(xué)過程中讓教師實時查看學(xué)生學(xué)習(xí)狀態(tài)成為亟待解決的問題。

基于人工智能技術(shù)與計算機視覺技術(shù)的快速發(fā)展，相關(guān)學(xué)者將這兩種技術(shù)應(yīng)用于學(xué)情監(jiān)測，如基于CNN深度學(xué)習(xí)模型的大學(xué)生課堂行為檢測研究[1]、改進(jìn)的多目標(biāo)回歸學(xué)生課堂行為檢測方法等[2]。本文開發(fā)出基于深度學(xué)習(xí)的線上教學(xué)學(xué)情監(jiān)測系統(tǒng)，旨在對線上學(xué)習(xí)的過程中學(xué)生行為進(jìn)行監(jiān)督統(tǒng)計，并通過可視化方式反饋給教師，從而使教師實時了解學(xué)生的學(xué)習(xí)狀態(tài)，提高教學(xué)效果。

1 系統(tǒng)概述

本系統(tǒng)主要面向?qū)W生、教師群體。其采用模塊化設(shè)計，并分為五個模塊。一是面部定位，在攝像頭獲取實時視頻數(shù)據(jù)后快速對學(xué)生面部進(jìn)行定位，并將學(xué)生面部圖像傳至后端模塊，同時對學(xué)生是否中途離開進(jìn)行監(jiān)測;二是特征提取，通過對面部定位模塊獲取的面部圖像進(jìn)行學(xué)生面部特征點提取，并將面部特征點數(shù)據(jù)保存;三是狀態(tài)分析，基于獲取的特征點數(shù)據(jù)對學(xué)生當(dāng)前狀態(tài)進(jìn)行分析;四是行為響應(yīng)，根據(jù)系統(tǒng)分析出的學(xué)生狀態(tài)做出指定的響應(yīng);五是生成課堂學(xué)情報告，將課堂內(nèi)學(xué)生狀態(tài)生成可視化圖表報告。

2 系統(tǒng)結(jié)構(gòu)

如圖1所示，系統(tǒng)主要分為五個模塊，即學(xué)生定位、特征提取、狀態(tài)分析、行為響應(yīng)以及統(tǒng)計生成。

2.1 學(xué)生定位

系統(tǒng)通過學(xué)生上網(wǎng)課時攝像頭采集的視頻數(shù)據(jù)，使用Yolov3算法訓(xùn)練出人臉識別模型來對學(xué)生面部進(jìn)行識別，采用多尺度融合方法，在3個尺度上進(jìn)行融合，并提出了全新的特征提取器Darknet-53，添加了殘差網(wǎng)絡(luò)，進(jìn)一步提高了目標(biāo)檢測的性能。

2.2 特征提取

監(jiān)測系統(tǒng)中的特征提取模塊采用開源庫Dlib進(jìn)行68個面部特征點的提取，采用基于回歸樹的人臉對齊算法[3]。在已知的人臉矩形選框中，該算法以準(zhǔn)確定位其形狀為目標(biāo)，主要分為基于優(yōu)化的方法和基于回歸的方法兩大類。本文采用后者，通過級聯(lián)的殘差回歸樹使人臉逐步對齊，從而準(zhǔn)確檢測出人臉的68個特征點。Dlib方法對姿態(tài)變動較小的人臉有非常好的定位效果，而且學(xué)生使用的攝像頭像素參差不齊，故采用該方法進(jìn)行面部特征點檢測。

在接收到學(xué)生面部圖像后，系統(tǒng)將通過以上算法標(biāo)記出學(xué)生面部的68個特征點，如圖2所示。若根據(jù)學(xué)生面部圖像信息無法獲取學(xué)生面部特征點，系統(tǒng)會提示學(xué)生調(diào)整攝像頭位置，以將面部納入取景框內(nèi)。

2.3 狀態(tài)分析

2.3.1 學(xué)生出勤情況分析。系統(tǒng)將根據(jù)學(xué)生定位模塊來分析學(xué)生的出勤情況，模塊內(nèi)含有計時器，對學(xué)生定位模塊傳出的信號進(jìn)行統(tǒng)計，若學(xué)生定位模塊持續(xù)1 min無法檢測到人臉，計為“缺勤”。

2.3.2 學(xué)生頭部姿態(tài)估計。系統(tǒng)基于特征提取模塊采集面部特征點，假設(shè)[d1]為瞳孔水平位置到采集圖片的上邊緣距離，[d2]為嘴角的水平位置到采集圖片的下邊緣距離。在學(xué)生低頭時，[d1]增大，[d2]減小。系統(tǒng)將以此估計學(xué)生頭部姿態(tài)，并判斷學(xué)生是否長期低頭狀態(tài)。

2.3.3 學(xué)生困倦、睡覺狀態(tài)識別。困倦時，學(xué)生具有打哈欠、眨眼頻率降低、不斷點頭等特征;睡著時，眼睛處于閉合狀態(tài)，學(xué)生保持低頭?；谔卣魈崛∧K采集到的面部特征點，取眼部特征點、嘴部特征點求得[EAR]（Eye Aspect Ratio，眼部縱橫比）與[MAR]（Mouth Aspect Ratio，嘴部縱橫比）。當(dāng)學(xué)生兩眼[EAR]的均值低于設(shè)定的閾值時，判定閉眼;當(dāng)[MAR]高于設(shè)定的閾值時，判定打哈欠。然后，系統(tǒng)將通過單位時間內(nèi)學(xué)生的[EAR]計算[PERLOCS]（眼睛閉合時間占單位時間的百分率），通過[MAR]計算單位時間內(nèi)的[YAWNFRE]（打哈欠頻率），同時結(jié)合頭部姿態(tài)計算[DOWNFRE]（單位時間內(nèi)低頭時間的百分率）來判斷學(xué)生是否困倦、是否睡著，如式（1）所示。其中，[α]、[β]和[γ]為[PERLOCS]、[YAWNFRE]和[DOWNFRE]對狀態(tài)評判的權(quán)重;[Points]為單位時間內(nèi)學(xué)生的狀態(tài)分，系統(tǒng)將據(jù)此判斷學(xué)生狀態(tài)。

[Points=α×PERLOCS+β×YAWNFRE+γ×DOWNFRE]（1）

2.4 行為響應(yīng)

對于學(xué)生的實時狀態(tài)，系統(tǒng)將做出對應(yīng)響應(yīng)。在開始判定學(xué)生缺勤時，系統(tǒng)會及時向教師反饋;在學(xué)生困倦、睡著或是長期低頭時，將會在屏幕上進(jìn)行提示。教師也可實時查看學(xué)生的狀態(tài)記錄、缺勤記錄。

2.5 統(tǒng)計生成

系統(tǒng)將在課堂結(jié)束后生成一份統(tǒng)計報告，以展示學(xué)生課上狀態(tài)。其中包括缺勤時長、困倦時長、低頭時長以及睡覺時長，并把數(shù)據(jù)可視化處理，將學(xué)生的課上行為按比例劃分，以便分析學(xué)生的學(xué)習(xí)狀態(tài)并幫助調(diào)整。同時，系統(tǒng)也會生成以班級為單位的課堂報告，呈現(xiàn)整個班級的課堂狀態(tài)。

3 系統(tǒng)試驗

為測試系統(tǒng)的有效性、可靠性以及準(zhǔn)確性，試驗以7位測試員在不同學(xué)習(xí)環(huán)境下模擬上課的錄制視頻數(shù)據(jù)為樣本，課堂使用釘釘視頻會議的形式共進(jìn)行50 min，7位測試員根據(jù)指令在不同時間段內(nèi)做出相應(yīng)的行為。系統(tǒng)應(yīng)用示例如圖3所示。

將系統(tǒng)采集模擬上課視頻數(shù)據(jù)的測試結(jié)果與學(xué)生實際行為進(jìn)行對比，如圖4所示。系統(tǒng)對學(xué)生缺勤的識別準(zhǔn)確率為96.1%，對學(xué)生睡覺的識別準(zhǔn)確率為90.7%，對學(xué)生困倦的識別準(zhǔn)確率為93.7%，對學(xué)生低頭的識別準(zhǔn)確率為90.1%。測試數(shù)據(jù)表明，該系統(tǒng)可有效對學(xué)生課上行為進(jìn)行監(jiān)測，基本滿足線上教學(xué)中對學(xué)生不良習(xí)慣監(jiān)測的要求，而且具有實時監(jiān)測、響應(yīng)速度快、準(zhǔn)確性高等優(yōu)勢。

4 結(jié)語

本文開發(fā)基于深度學(xué)習(xí)的線上教學(xué)學(xué)情監(jiān)測系統(tǒng)，可以很好地解決線上教學(xué)中出現(xiàn)的問題，有利于線上教學(xué)效果的提高。該系統(tǒng)具有較高的可靠性和實用性，不足的是，睡覺和低頭兩種狀態(tài)的識別具有復(fù)雜性，其檢測準(zhǔn)確率還有待提高。未來，人們?nèi)孕枰M(jìn)一步深入研究，不斷改進(jìn)檢測算法。

參考文獻(xiàn)：

[1]左國才，蘇秀芝，王海東，等.基于CNN深度學(xué)習(xí)模型的大學(xué)生課堂行為檢測研究[J].智能計算機與應(yīng)用，2020（2）：158-160.

[2]劉新運，葉時平，張登輝.改進(jìn)的多目標(biāo)回歸學(xué)生課堂行為檢測方法[J].計算機工程與設(shè)計，2020（9）：2684-2689.

[3]KAZEMI V，SULLIVAN J.One millisecond face alignment with an ensemble of regression trees[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2014.