摘" "要：針對線上教學期間，教師無法實時判斷學生上課狀態(tài)的現(xiàn)象，文章提出一種基于主動刺激的線上教學學生專注度評價方法。該方法利用電腦攝像頭實時獲取學生上課時的臉部圖像，經(jīng)圖像預處理后，運用RetinaFace算法檢測出臉部區(qū)域并定位瞳孔位置，再運用Dlib算法檢測兩側(cè)眼角關鍵點的位置，最后通過計算瞳孔到兩眼角距離的差值來判斷視線朝向。為避免一些假象，每隔一段時間在屏幕上隨機插入快速閃動的光點進行主動刺激，同時通過檢測學生視線方向的一致性來判斷專注度。實驗所得結(jié)果與學生實際的專注度狀態(tài)基本吻合，可以證明該方法的有效性。

關鍵詞：線上教學;專注度評價;人臉檢測;視線追蹤;主動刺激

中圖分類號：TP391;G202" " " 文獻標志碼：A" " " 文章編號：1673-8454（2022）07-0107-07

一、引言

當前，線上教學已經(jīng)普遍被人們所接受，成為新冠肺炎疫情下常用的教學形式。線上教學與課堂教學的最大差別是教師無法掌握學生狀況，只能廣播式、開放式地施教，教學效果難以保障。如果開通教師對每一個學生的直播視頻，又會占據(jù)大量帶寬，而且由于學生具有空間分散性，教師難以全面了解學生整體狀況。為此，有必要開發(fā)新的技術手段，通過網(wǎng)絡將每一個終端前學生的注意力，以量化的數(shù)字指標及時反饋，使教師能夠整體掌控“廣域課堂”的學生注意力狀況。

近年來，對于學生課堂專注度的評價在國內(nèi)外取得了大量研究成果。例如，有國外研究者開發(fā)了通過檢測眼睛和頭部運動，來獲得學習者在在線學習環(huán)境中注意力水平的系統(tǒng)[1];孫亞麗開展了基于人臉檢測的學生課堂專注度研究，主要把人臉檢測作為判斷學生專注度的輔助工具，以教育學為主要切入點來判斷學生上課的專注度[2];段巨力開發(fā)了基于機器視覺的學生上課專注度分析評測系統(tǒng)，通過優(yōu)化的Adaboost算法檢測得到人臉面部特征，并利用側(cè)臉算法、抬頭（鞠躬）算法和閉眼算法進行學生專注度判斷[3];蹇明芳開發(fā)了一種通過檢測學生頭部運動的方向、角度，來判斷學生抬頭看黑板、低頭記筆記、走神、睡覺等行為的專注度分析系統(tǒng)[4]?，斨Z（Mano）等通過建立模型來識別和分類學生的面部表情，然后評估學習活動中的情緒[5]。

上述研究大多屬于“被動”的機器學習特征提取。但是，這些外表特征可能無法反映學生的專注度。例如，學生在分神的情況下仍然能夠保持正常的臉部特征。據(jù)此，本文提出一種基于主動刺激的線上教學學生專注度評價方法，通過在正常教學屏幕上隨機插入快速閃動的光點，來捕捉學生的面部、眼部特征，并做出關聯(lián)分析，客觀地評價學生的專注度。最后，將一段時間內(nèi)的專注度統(tǒng)計結(jié)果反饋給教師。

圖1為教師端與學生端雙向信息交流示意圖。教師端負責教學內(nèi)容輸出，每位學生利用算法得到專注度狀態(tài)評價及專注度曲線，并輸出到教師端。教師在得到多位學生的專注度評價后，進行學生專注度整體評價。

二、主動刺激專注度驗證方法

主動刺激專注度驗證流程如圖2所示。該方法通過RetinaFace算法定位人臉及瞳孔位置，利用Dlib算法定位人眼角部位關鍵點，計算左右眼角到瞳孔的距離差值，從而判斷視線朝向。另外，攝像頭屏幕區(qū)域劃分為為左、中、右三塊，每隔一段時間在屏幕上隨機閃現(xiàn)光點進行主動刺激測試。在刺激點消失的1秒內(nèi)，如果學生視線看向刺激點位置，則該學生處于專注狀態(tài);如果學生未看向刺激點位置，則該學生處于非專注狀態(tài)。

（一）圖像預處理

為減小圖像原始數(shù)據(jù)量，便于后續(xù)處理時計算量更少，在電腦攝像頭采集到圖像后，首先將圖像轉(zhuǎn)化為灰度圖，然后進行圖像增強去噪操作。

1.直方圖均衡化

由于圖像在自然環(huán)境下采集，無法保證較為理想的光照條件，會出現(xiàn)圖片某些部分偏亮、某些部分偏暗的情況，因此需要對圖像進行直方圖均衡化處理。直方圖均衡化是將原圖像通過某種變換，得到一幅灰度直方圖為均勻分布新圖像的方法[6]。直方圖均衡化方法的基本思想是，對圖像中像素個數(shù)多的灰度級進行展寬，而對像素個數(shù)少的灰度級進行縮減，從而達到清晰圖像的目的。直方圖均衡化的效果如圖3所示，其中，圖3（a）為直方圖均衡化前的圖像，圖3（b）為均衡化后的圖像?？梢园l(fā)現(xiàn)，均衡化后圖像的某些細節(jié)會顯示得更加清晰。

2.高斯濾波

由于CCD攝像頭長期工作會出現(xiàn)溫度過高的情況，拍攝時的光照影響也會產(chǎn)生少量高斯噪聲，所以在直方圖均衡化后，還需要利用濾波消除圖像噪聲。經(jīng)過對多種濾波方法進行比較，本文決定采用高斯濾波進行圖像噪聲消除。高斯濾波原理是利用一個n x n的模板進行運算，將中間點像素值賦為連通區(qū)域像素值的均值，并且較近的像素具有較大的權重值[7]。高斯濾波的效果如圖4所示，其中，圖4（a）為高斯濾波前的圖像，圖4（b）為高斯濾波后的圖像。可以發(fā)現(xiàn)，高斯濾波可以有效去除圖像中的噪聲。

（二）RetinaFace人臉及瞳孔檢測

對于實時獲取的圖像，復雜的背景可能會對人臉特征檢測造成一定干擾。為了簡化后續(xù)運算、提升檢測速度，先對獲取的圖像進行人臉檢測，以便在人臉圖像中進一步檢測特征點。

RetinaFace算法是Insight Face工具箱推出的最新人臉檢測模型[8]，其利用聯(lián)合監(jiān)督和自我監(jiān)督的多任務進行學習，并在各種人臉尺度上執(zhí)行像素方面的人臉定位。相比之前火熱的多任務級聯(lián)神經(jīng)網(wǎng)絡（Multi-task Convolutional Neural Network， MTCNN）算法[9]，RetinaFace在速度和精度上都有比較大的提升，在檢測大角度人臉時魯棒性更好。同時，RetinaFace除了標注出人臉框的位置，還標注兩眼中心點的位置。所以，本文采用RetinaFace算法進行人臉及瞳孔檢測。

RetinaFace的mnet本質(zhì)是基于RetinaNet的結(jié)構(gòu)，采用特征金字塔的技術，實現(xiàn)多尺度信息的融合，對檢測小物體有重要的作用。RetinaNet結(jié)構(gòu)如圖5所示。

目前，RetinaNet改進版使用較多，其利用MobileNet作為主干提取網(wǎng)絡。MobileNet模型是一種輕量級的深層神經(jīng)網(wǎng)絡，核心是使用可分離卷積，可以在CPU上實現(xiàn)實時檢測。

首先，利用MobileNet作為主干網(wǎng)絡搭配特征金字塔，生成三個不同尺度上的檢測框，保證可以檢測到不同大小的物體。然后，通過SSH模塊進一步加強特征提取。SSH的思想非常簡單，使用三個并行結(jié)構(gòu)，利用3x3卷積的堆疊代替5x5與7x7卷積的效果。最后，在通過SSH獲得三個有效特征層后，再利用這三個有效特征層獲得預測結(jié)果。RetinaFace的預測結(jié)果分為三種，分別是分類預測結(jié)果、框的回歸預測結(jié)果、人臉關鍵點的回歸預測結(jié)果。RetinaFace的檢測分支如圖6所示。

利用RetinaFace進行人臉和瞳孔檢測的結(jié)果如圖7所示。

（三）Dlib人臉關鍵點檢測

人臉關鍵點的定位對于人臉信息提取是一個關鍵步驟。由于視線跟蹤需要精確的眼部位置信息，所以要利用人臉關鍵點檢測算法來定位眼角位置。

為了提高對學生眼睛區(qū)域的定位精度，本文采用Dlib算法進行人臉關鍵點定位。Dlib算法是一種人臉關鍵點定位算法[10]。該算法基于梯度提升（gradient boosting）的方法，利用損失函數(shù)的負梯度近似擬合殘差來學習回歸樹集合，從而標定出圖像中人臉面部的68個關鍵點。圖8 所示分別為68 個關鍵點對應的位置。

本文主要目的是判斷視線朝向，所以主要關注標號為37、40、43、46的關鍵點位置。Dlib人臉關鍵點的檢測結(jié)果如圖9所示。

（四）主動刺激專注度評價規(guī)則

利用上述算法檢測到瞳孔和左右眼角位置后，計算左右眼角分別到瞳孔的距離。當人臉端正面看向攝像頭時，可分為看向正前方、看向左邊和看向右邊三種情況。圖10為人眼模擬圖，外部橢圓為眼眶，中心的黑色圓為瞳孔。當人眼看向正前方時，瞳孔一般處于眼睛中心，此時R1（左眼眶到瞳孔的距離）與R2（右眼眶到瞳孔的距離）基本相等;當人眼看向左邊時，瞳孔會發(fā)生明顯的左偏，此時R1的距離會小于R2;同理，當人眼看向右邊時，R1的距離會大于R2。所以在一定誤差范圍內(nèi)可以認為：如果R l≈R2，則人眼視線方向為中間;如果R llt;R2，則人眼視線方向為左邊;如果R1gt;R2，則人眼視線方向為右邊。

設定每隔一段時間，在屏幕的隨機位置上會出現(xiàn)快速閃動的刺激點。該刺激點為紅色，每次閃動0.2秒左右便會消失，將屏幕劃分為左、中、右三塊區(qū)域，每次刺激點會隨機出現(xiàn)在屏幕的某一區(qū)域，如圖11所示。

在刺激點出現(xiàn)時，如果學生處于專注狀態(tài)，便會對突然出現(xiàn)的刺激點做出反應，從而將視線看向刺激點出現(xiàn)的區(qū)域;如果該學生處于走神狀態(tài)，那么很可能會對刺激點無動于衷，從而沒有對刺激點的出現(xiàn)做出反應。

據(jù)此可以判斷刺激點出現(xiàn)時的位置與學生的視線朝向是否一致。如果刺激點消失后的1秒內(nèi)學生視線看向刺激點位置，則該學生處于專注狀態(tài);如果學生未看向刺激點位置，則該學生處于非專注狀態(tài)。

三、實驗設置

實驗環(huán)境：實驗通過在筆記本電腦上進行線上教學來獲取實驗數(shù)據(jù);實驗人員為實驗室在校學生，不同學生所在的實驗場地光照條件不同;溫度、氣壓等對實驗影響較小因素保持正常即可。

攝像采集設備：攝像頭型號為雅蘭仕D8攝像頭，采集幀率為每秒30幀，視頻分辨率為1920 ×1080 像素。算法處理：Windows 10環(huán)境下采用 Python語言編寫，編譯器為Pycharm。計算機的硬件性能：CPU為Intel Core i5-9300H，GPU為NVIDA GTX 1080。圖12為不同學生在不同實驗場地進行測試的畫面。

四、實驗驗證與結(jié)果分析

本文選取三位測試者進行主動刺激專注度驗證，以及不同人臉檢測算法性能比較。

（一）人臉檢測分析

將RetinaFace算法與其他兩個比較典型的人臉檢測算法Adaboost、MTCNN進行檢測時長對比，記錄每幀圖像檢測人臉所需的時間。實驗結(jié)果顯示，RetinaFace的檢測時長更短，效果更佳。因此，本文選擇RetinaFace算法進行人臉檢測。

本文在每位測試者測試過程中隨機截取100張圖片，包含正常情況、眨眼、打哈欠、低頭等行為，然后利用RetinaFace進行人臉檢測，得到各樣本人臉檢測準確數(shù)量情況，實驗結(jié)果如表1所示。

做以下定義：精確率=檢測正確人數(shù)/檢測人數(shù);準確率=檢測人數(shù)/總?cè)藬?shù)。精確率與召回率越高，檢測效果越好。

由于學生聽課過程中會出現(xiàn)抬低頭、轉(zhuǎn)頭等行為，導致出現(xiàn)無法檢測到人臉的情況。在此情況下，測得的平均準確率達到92.5%，并且精確率達到100%，即表示在檢測到的人臉中，沒有出現(xiàn)誤檢的情況。

（二）主動刺激專注度評價實驗

主動刺激專注度評價實驗結(jié)果如圖13所示。其中，由于攝像頭內(nèi)人臉是鏡像存在的，所以當視線朝向左邊時，其在圖片內(nèi)是向右看的。

圖中左上角顯示人眼視線朝向，右上角顯示專注度狀態(tài)。從實驗結(jié)果可以看出，當刺激點出現(xiàn)時，如果視線朝向位置與刺激點出現(xiàn)位置一致，則右上角為“Concentration”;如果視線朝向位置與刺激點出現(xiàn)位置不一致，則右上角為“Distracted”。根據(jù)刺激點消失后1秒內(nèi)，學生視線朝向與刺激點位置的對比，輸出整體的專注度情況。刺激點消失后的1秒內(nèi)，如果學生視線看向刺激點位置，則會輸出“Concentration”;如果學生未看向刺激點位置，則會輸出“Distracted”。

選取10組測試結(jié)果進行準確率分析，實驗結(jié)果如表2所示。其中，9組測試結(jié)果正確預測當前學生狀態(tài)，正確率為 90%。整體實驗效果良好。

還要對測試者視頻進行專注度驗證。繪制專注度變化曲線，設定當專注度結(jié)果為“Concentration”時，分數(shù)為1;當專注度結(jié)果為“Distracted”時，分數(shù)為0。圖14為測試者專注度評分隨時間變化曲線。

圖中橫軸代表時間，縱軸代表專注度評分。從曲線可以看出，該學生在前50秒內(nèi)處于不穩(wěn)定狀態(tài)，專注與不專注狀態(tài)交替出現(xiàn);在50～150秒內(nèi)處于專注狀態(tài);在150～200秒內(nèi)處于不專注狀態(tài)，應該受到某些課外因素的影響。

五、結(jié)語

針對線上教學期間，教師無法實時判斷學生上課狀態(tài)的問題，本文提出的線上教學學生專注度評價方法，可以較準確地給出學生實時的專注度評分。該方法首先采集學生上課視頻圖像，然后利用RetinaFace和Dlib算法對學生的人臉、瞳孔以及人臉關鍵點進行檢測定位。上述兩種算法能夠快速準確地定位人臉、瞳孔及關鍵點。該方法通過每隔一段時間在屏幕上隨機閃現(xiàn)刺激點的形式，對學生進行主動刺激專注度判斷。當刺激點消失后1秒內(nèi)，通過檢測學生視線方向與刺激點出現(xiàn)位置的一致性，來判斷該學生是否專注聽課。實驗證明，該方法可以有效判斷學生是否走神，還可以輔助教師獲得更及時、高效、客觀的學生專注度狀態(tài)，有助于教師客觀評價教學效果，提高教學效率。

參考文獻：

[1]KRITHIKA L B， PRIYA G L. Student emotion recognition system （SERS） for e-learning improvement based on learner concentration metric[J]. Procedia Computer Science， 2016， 85：767-776.

[2]孫亞麗.基于人臉檢測的小學生課堂專注度研究[D].黃石：湖北師范大學，2016.

[3]段巨力.基于機器視覺的學生上課專注度的分析評測系統(tǒng)[D].杭州：浙江工商大學，2018.?

[4]蹇明芳.一種學生聽課積極性的檢測方法及系統(tǒng)：CN108765226A[P].2018-11-06.

[5]MANO L Y， MAZZO A， NETO J， et al. Using emotion recognition to assess simulation-based learning[J]. Nurse Education in Practice， 2019，36：13-19.

[6]陳永亮.灰度圖像的直方圖均衡化處理研究[D].合肥：安徽大學，2014.

[7]VELHO L. Simple and efficient polygonization of implicit surfaces[J]. Computer Aided Geometric Design， 2012，1（2）：5-24.

[8]DENG J， GUO J， ZHOU Y， et al. RetinaFace： single- stage dense face localisation in the wild[J]. Computer Vision and Pattern Recognition， 2019（2）：58-66.

[9]ZHANG K， ZHANG Z， LI Z， et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE Signal Processing Letters， 2016，23（10）：1499-1503.

[10]KAZEMI V， SULLIVAN J. One millisecond face alignment with an ensemble of regression trees[C]// IEEE Conference on Computer Vision amp; Pattern Recognition. IEEE， 2014.

作者簡介：

孫鑫昊，碩士，主要研究方向為圖像處理與模式識別，郵箱：18813059178@163.com;

張朝暉，教授，博士，主要研究方向為傳感器及智能感知技術、太赫茲波檢測技術，郵箱：zhangzhaohui@ ustb.edu.cn;

趙小燕，副教授，博士，主要研究方向為太赫茲檢測技術、環(huán)境安全監(jiān)測，郵箱：zhaoxiaoyan@ustb.edu.cn。

A Research on the Evaluation of Students’Concentration in Online Teaching Based

on Active Stimulation

Xinhao SUN1，2， Zhaohui ZHANG1，2， Xiaoyan ZHAO1，2

（1.School of Automation and Electeical Engineering， University of Science and Technology Beijing， Beijing 100083;

2.Department of Automation， Shunde Graduate School of University of Science and Technology Beijing， Shunde Guangdong 528300）

Abstract： In view of the phenomenon that teachers cannot judge students’ class status in real time during online teaching， this paper proposes an online teaching student concentration evaluation method based on active stimulation. With this method， the computer camera is used to obtain the face image of students in class in real time， then after image preprocessing， the Retina Face algorithm is used to detect the face area and locate the pupil position， and the Dlib algorithm is used to detect the position of the key points of the corners of the eyes on both sides. The line of sight orientation is judged by calculating the distance from the pupil to the corners of the eyes on both sides. In order to avoid some illusions， fast flashing light spots are inserted into the screen every other period of time randomly for active stimulation， and the concentration is judged by detecting the consistency of students’ line of sight direction. The experimental results are basically consistent with the actual concentration state of students， which can prove the availability and efficiency of this method.

Keywords： Online teaching; Focus evaluation; Face detection; Eye tracking; Active stimulation

編輯：王曉明" "校對：李曉萍