王昌海 申紅雪 張王衛(wèi) 孫玉勝 王博

摘 ?要：設(shè)計(jì)并開(kāi)發(fā)了一款基于人臉識(shí)別的課堂教學(xué)監(jiān)控系統(tǒng)，該系統(tǒng)通過(guò)識(shí)別學(xué)生上課的表情信息，分析課堂教學(xué)情況。首先提出一種基于圖像遞歸切割和OpenCV的人臉檢測(cè)方法，以提高人臉檢測(cè)召回率;然后使用百度AI開(kāi)放平臺(tái)的在線接口識(shí)別人臉表情信息，并將信息插入數(shù)據(jù)庫(kù);最后根據(jù)學(xué)生表情信息分析低頭率、活躍度等課堂情況。實(shí)際部署測(cè)試后分析了系統(tǒng)的運(yùn)行效果及時(shí)間消耗，結(jié)果表明該系統(tǒng)可有效監(jiān)控課堂教學(xué)情況。

關(guān)鍵詞：教學(xué)監(jiān)控;人臉檢測(cè);人臉識(shí)別;情緒識(shí)別

中圖分類號(hào)：TP399 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：A classroom teaching monitoring system is designed based on the face recognition technology.The facial emotions of students are recognized and the situation of teaching is analyzed further.First，a face detection method based on the image recursive cutting and OpenCV is proposed in order to improve the recall rate.Then，the facial emotions are recognized with the online face recognition interface of Baidu AI open platform，and the recognized results are inserted into the database.Finally，the attendance rate and activity of classroom are analyzed.The performance and time consumption of this system are evaluated after deploying，and the results show that the system can effectively monitor classroom teaching.

Keywords：teaching monitoring;face detection;face recognition;emotion recognition

1 ? 引言（Introduction）

課堂教學(xué)作為當(dāng)前中國(guó)教育培養(yǎng)學(xué)生的主要形式，對(duì)學(xué)生知識(shí)結(jié)構(gòu)的形成以及能力的鍛煉有著深遠(yuǎn)的影響。如何在課堂教學(xué)過(guò)程中監(jiān)控學(xué)生的學(xué)習(xí)情況，并對(duì)授課方法進(jìn)行針對(duì)性改進(jìn)是教師教學(xué)過(guò)程中的重要議題[1]。傳統(tǒng)的課堂教學(xué)監(jiān)控方法包括現(xiàn)場(chǎng)記錄[2]、視頻監(jiān)控[3]等。這些方法一般依賴于人工分析，需要消耗大量人力。目前，使用人工智能技術(shù)輔助課堂教學(xué)已有一些嘗試，如課堂點(diǎn)名系統(tǒng)[4]、智能監(jiān)控系統(tǒng)[5]等。但這些方法仍然面臨人臉檢測(cè)率較低[6]等問(wèn)題。

本文設(shè)計(jì)并開(kāi)發(fā)一款基于人臉識(shí)別的課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)。該系統(tǒng)使用教室中部署的通用攝像設(shè)備采集上課圖像，利用人工智能技術(shù)分析學(xué)生的上課狀態(tài)，并給出學(xué)生學(xué)習(xí)情況的綜合評(píng)估結(jié)果。本系統(tǒng)的創(chuàng)新點(diǎn)如下：其一，提出一種基于圖像遞歸分割的人臉檢測(cè)方法，提高了課堂人臉檢測(cè)召回率;其二，提出一種基于人臉情緒識(shí)別的課堂教學(xué)質(zhì)量評(píng)估方法。

2 ? 系統(tǒng)架構(gòu)（Architecture）

本系統(tǒng)使用教室中部署的視頻監(jiān)控設(shè)備采集學(xué)生上課視頻，利用人臉檢測(cè)及識(shí)別接口識(shí)別視頻中的人臉及情緒，并通過(guò)統(tǒng)計(jì)識(shí)別結(jié)果評(píng)估課堂教學(xué)質(zhì)量。系統(tǒng)主要分為視頻采集、人臉檢測(cè)、人臉識(shí)別、統(tǒng)計(jì)反饋四個(gè)子系統(tǒng)[7]，子系統(tǒng)的劃分如圖1所示。

如圖1所示，視頻采集子系統(tǒng)包括視頻的采集存儲(chǔ)和圖像預(yù)處理兩部分。視頻采集存儲(chǔ)模塊將采集到的視頻存儲(chǔ)于硬盤(pán)中。圖像預(yù)處理的目的是將采集到的圖像做灰度化、校正等操作，以更好的檢測(cè)圖像中的人臉。人臉檢測(cè)子系統(tǒng)包括圖像分割和人臉檢測(cè)兩大功能，其目的是對(duì)圖像遞歸切割，并檢測(cè)每幅子圖像中的人臉。人臉檢測(cè)結(jié)果傳遞給人臉識(shí)別子系統(tǒng)。該部分的檢測(cè)精度直接影響系統(tǒng)的運(yùn)行效果。人臉識(shí)別子系統(tǒng)使用百度AI開(kāi)放平臺(tái)的接口實(shí)現(xiàn)人臉的識(shí)別以及人臉情緒的識(shí)別。該模塊可以得出當(dāng)前教室中學(xué)生是否在聽(tīng)課，以及臉部的表情情況。統(tǒng)計(jì)反饋?zhàn)酉到y(tǒng)包括整體教學(xué)質(zhì)量評(píng)估和反饋兩部分，用于統(tǒng)計(jì)不同學(xué)生聽(tīng)課情況、不同時(shí)間段學(xué)生聽(tīng)課情況等，并將結(jié)果反饋給授課教師。

3 ? 系統(tǒng)關(guān)鍵技術(shù)（Key technology）

3.1 ? 圖像分割

人臉檢測(cè)子系統(tǒng)的目的是在課堂圖像中檢測(cè)出所有學(xué)生的人臉。此模塊設(shè)計(jì)的難點(diǎn)在于如何保證檢測(cè)的召回率，即不能漏掉任何一個(gè)學(xué)生。當(dāng)前人臉檢測(cè)的方法（如特征級(jí)聯(lián)方法[8]、深度學(xué)習(xí)方法[9]以及公開(kāi)人臉檢測(cè)庫(kù)OpenCV[10]、百度AI[11]等）在人臉數(shù)較多的情況下皆無(wú)法保證召回率，因此這些人臉檢測(cè)方法并不能直接應(yīng)用于課堂環(huán)境。本節(jié)提出一種基于圖像遞歸切割的人臉檢測(cè)方法。圖像遞歸切割的示意圖如圖2所示。

如圖2所示，圖像沿長(zhǎng)邊遵循半重疊的原則進(jìn)行切割，每幅圖像切割為三幅子圖像。沿長(zhǎng)邊切割保證了切割后的圖像不會(huì)長(zhǎng)寬比例失調(diào)，半重疊保證了切割后的子圖像能夠盡可能的有完整的人臉。圖像切割過(guò)程實(shí)際上構(gòu)造了一棵滿三叉樹(shù)，樹(shù)中每個(gè)結(jié)點(diǎn)代表一幅切割后的圖像。樹(shù)的深度代表切割的次數(shù)，該值可根據(jù)圖像中的人臉數(shù)動(dòng)態(tài)調(diào)整。對(duì)于人臉數(shù)較多的圖像，可將N設(shè)置為較大值，以保證原圖像中較小的人臉會(huì)以較大的比例出現(xiàn)在子圖像中，以提高檢測(cè)的召回率。

3.2 ? 人臉檢測(cè)

圖像分割完成后，對(duì)每幅圖像執(zhí)行人臉檢測(cè)?；趫D像遞歸切割的人臉檢測(cè)算法如算法1所示。

算法1 基于圖像遞歸切割的人臉檢測(cè)算法

（1） list face_set=NULL;

（2） int deep=0;

（3） void face_detection（image）{

（4） face_list=opencv_detection（image）; //使用opencv檢測(cè)人臉

（5） deep_repeat（face_list，face_set）; //人臉集去重

（6） if（deep

（7） deep++;

（8） for（i=0; i<3;i++）{

（9） child=split（image，i）; //圖像分割

（10） face_detection（child）; //檢測(cè)子圖像人臉

（11） }

（12） }

（13） }

算法首先使用OpenCV庫(kù)中的CascadeClassifier分類器檢測(cè)當(dāng)前結(jié)點(diǎn)圖像中的人臉，然后將檢測(cè)到的人臉添加到人臉集中。添加過(guò)程中根據(jù)人臉在圖像中的位置去掉重復(fù)的人臉。最后對(duì)圖像進(jìn)行分割，并分別對(duì)子圖像執(zhí)行本算法，直至達(dá)到設(shè)定的圖像分割深度。人臉檢測(cè)完成后，得到包含所有人臉的人臉集用于人臉識(shí)別及情緒識(shí)別。

3.3 ? 人臉識(shí)別

本系統(tǒng)使用百度AI開(kāi)放平臺(tái)的在線人臉識(shí)別接口進(jìn)行人臉的識(shí)別，該接口與當(dāng)前其他公開(kāi)的人臉識(shí)別接口相比有明顯高的識(shí)別率，且提供了情緒識(shí)別等功能。在人臉識(shí)別之前，需要將所有學(xué)生的人臉上傳至百度AI開(kāi)放平臺(tái)，以建立學(xué)生人臉庫(kù)。識(shí)別過(guò)程中，將人臉做Base64編碼后發(fā)送至指定URL，平臺(tái)會(huì)返回該人臉最相似的學(xué)生id，以及人臉的情緒、旋轉(zhuǎn)角度等信息。系統(tǒng)將返回的人臉信息插入數(shù)據(jù)庫(kù)，以分析課堂學(xué)生學(xué)習(xí)質(zhì)量。課堂人臉信息數(shù)據(jù)表設(shè)計(jì)如表1所示。

數(shù)據(jù)庫(kù)中的每條記錄保存一張人臉信息，包括人臉?biāo)鶎賹W(xué)生姓名、人臉在三維空間中的角度、表情、圖像采集時(shí)間、識(shí)別的可信度等信息。

3.4 ? 課堂教學(xué)分析

該模塊通過(guò)檢索一節(jié)課期間所有學(xué)生的人臉信息，評(píng)估學(xué)生學(xué)習(xí)情況，并通過(guò)網(wǎng)頁(yè)端和手機(jī)APP端兩種形式展示統(tǒng)計(jì)結(jié)果。統(tǒng)計(jì)的信息包括一節(jié)課中所有學(xué)生檢測(cè)率變化趨勢(shì)、特定學(xué)生檢測(cè)率、所有學(xué)生人臉角度分布及變化趨勢(shì)、特定學(xué)生人臉角度分布、人臉情緒分布及變化趨勢(shì)、人臉缺失報(bào)警等。

所有學(xué)生檢測(cè)率變化趨勢(shì)主要用于分析一節(jié)課中所有學(xué)生被檢測(cè)出來(lái)的比例，其統(tǒng)計(jì)結(jié)果可以為判斷學(xué)生是否認(rèn)真聽(tīng)講、學(xué)生學(xué)習(xí)積極性提供參考。特定學(xué)生檢測(cè)率指某一特定學(xué)生在整節(jié)課中被檢測(cè)出來(lái)的比例，其結(jié)果與某特定學(xué)生的上課積極性有關(guān)。學(xué)生人臉角度分布及變化趨勢(shì)可以分析人臉在檢測(cè)出來(lái)的情況下，是否存在低頭情況。人臉情緒分布及變化趨勢(shì)用于分析學(xué)生的表情情況，以判斷課堂是否活躍。人臉缺失報(bào)警用于提醒授課教師某學(xué)生長(zhǎng)時(shí)間未被檢測(cè)到，教師根據(jù)此提醒可查看該生是否睡覺(jué)或早退。

4 ? 系統(tǒng)性能分析（Analysis of system performance）

4.1 ? 系統(tǒng)運(yùn)行效果

目前系統(tǒng)已經(jīng)開(kāi)發(fā)完成，并在鄭州輕工業(yè)大學(xué)軟件學(xué)院的智慧教室中部署測(cè)試。該教室可容納50名學(xué)生上課，每次上課人數(shù)30-40人不等。視頻采集所用的設(shè)備參數(shù)如表2所示。

為了測(cè)試本系統(tǒng)人臉檢測(cè)方法的召回率，在課堂監(jiān)控過(guò)程中隨機(jī)抓拍100張圖像用于測(cè)試。該100幅圖像分別抓拍于四個(gè)上課班級(jí)的二十次課，每次上課學(xué)生座位分布皆不相同。去掉學(xué)生上課低頭等人臉不可檢測(cè)的特殊情況后，人臉總數(shù)為3143。將這100幅圖像執(zhí)行本系統(tǒng)的人臉檢測(cè)算法，去掉重復(fù)人臉后統(tǒng)計(jì)人臉召回率，圖像切割深度與人臉召回率的關(guān)系如圖3所示。

從圖3中可以看出，隨著圖像切割深度的變大，人臉的召回率明顯升高。當(dāng)圖像的切割深度為5時(shí)，人臉的召回率可以達(dá)到99.8%，此時(shí)完全可滿足課堂教學(xué)監(jiān)控的需要。

4.2 ? 系統(tǒng)性能分析

隨著圖像切割次數(shù)的增大，需要做人臉檢測(cè)的圖像數(shù)量也呈指數(shù)級(jí)增長(zhǎng)。當(dāng)圖像切割深度為5時(shí)，要檢測(cè)的圖像數(shù)量為364張。在這些圖像中，根結(jié)點(diǎn)圖像尺寸最大，使用OpenCV做人臉檢測(cè)時(shí)最大耗時(shí)約80ms。隨著切割深度的增加，圖像尺寸呈指數(shù)級(jí)下降，人臉檢測(cè)的耗時(shí)也急劇減少。第五次分割后的葉子結(jié)點(diǎn)圖像的檢測(cè)時(shí)間降低到4ms左右。一幅圖像的人臉檢測(cè)時(shí)間總耗時(shí)小于4s。

人臉檢測(cè)完后，調(diào)用百度AI的在線人臉識(shí)別接口進(jìn)行人臉識(shí)別。該接口對(duì)于企業(yè)級(jí)應(yīng)用的QPS限制為10，即每秒允許最多調(diào)用十次。本系統(tǒng)采用多線程的方式調(diào)用該接口，在帶寬良好的情況下，可穩(wěn)定的實(shí)現(xiàn)每秒9—10次的調(diào)用。對(duì)于學(xué)生數(shù)約40的課堂，考慮到20%人臉的冗余，人臉識(shí)別總耗時(shí)小于6s。由于人臉識(shí)別的大部分時(shí)間為等待網(wǎng)絡(luò)返回結(jié)果，所以將人臉檢測(cè)與識(shí)別并發(fā)運(yùn)行后，系統(tǒng)分析一幅圖像的總時(shí)長(zhǎng)約6—7秒。該耗時(shí)完全滿足課堂教學(xué)監(jiān)控系統(tǒng)的耗時(shí)要求。

5 ? 結(jié)論（Conclusion）

本文設(shè)計(jì)并開(kāi)發(fā)了一個(gè)課堂教學(xué)監(jiān)控系統(tǒng)。為了解決多人場(chǎng)景下人臉檢測(cè)召回率低的問(wèn)題，提出基于圖像遞歸切割和OpenCV的人臉檢測(cè)方法，通過(guò)識(shí)別學(xué)生表情信息分析課堂學(xué)生學(xué)習(xí)情況。最后給出了人臉檢測(cè)召回率的測(cè)試結(jié)果，并分析了人臉檢測(cè)與識(shí)別的時(shí)間消耗情況。系統(tǒng)在部署測(cè)試中

發(fā)現(xiàn)了一些值得繼續(xù)改進(jìn)的地方。首先，課堂上學(xué)生的分布往往不均勻，如何感知學(xué)生分布，并針對(duì)學(xué)生數(shù)量多的區(qū)域做較深的遞歸切割是值得研究的問(wèn)題。其次，部署環(huán)境的座位分布、光線等因素對(duì)系統(tǒng)效果有一定影響，目前該方面還沒(méi)有相關(guān)測(cè)試結(jié)果。

參考文獻(xiàn)（References）

[1] 蔡紅梅，許曉東.高校課堂教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系的構(gòu)建[J].高等工程教育研究，2014，3（1）：177-180.

[2] 杜祥培.試論教學(xué)質(zhì)量監(jiān)控的主要環(huán)節(jié)及其標(biāo)準(zhǔn)[J].中國(guó)大學(xué)教學(xué)，2005，11（2）：47-48.

[3] Samet Refik，Tanriverdi Muhammed.Face Recognition-Based Mobile Automatic Classroom Attendance Management System[C].International Conference on Cyberworlds，2017：253-256.

[4] 荊洲，權(quán)偉，唐杰，等.基于人臉識(shí)別的智能課堂點(diǎn)名系統(tǒng)[J].軟件工程，2017，20（5）：43-46.

[5] 戴振澤，施艷，鄭少偉，等.智能課堂監(jiān)控與分析系統(tǒng)[J].軟件工程，2018，21 （6）：36-39.

[6] Zhang Quanbin，Huang Xiang，Su Juan.People counting in classroom based on video surveillance[C].International Symposium on Image Processing and Pattern Recognition，2014：9301-9308.

[7] 徐金鳳，張路遙.高職院校教學(xué)質(zhì)量監(jiān)控信息化平臺(tái)的設(shè)計(jì)——以無(wú)錫職業(yè)技術(shù)學(xué)院為例[J].無(wú)錫職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2017，16（3）：41-44.

[8] Lienhart Rainer，Maydt Jochen.An extended set of haar-like features for rapid object detection[C].Proceedings of International Conference on Image Processing.IEEE，2002：900-903.

[9] Ohn-Bar Eshed，Trivedi Mohan.To Boost or not to Boost？ on the Limits of Boosted Trees for Object Detection[C].The 23rd International Conference on Pattern Recognition （ICPR）.IEEE，2016：3350-3355.

[10] Laganière Robert.OpenCV Computer Vision Application Programming Cookbook Second Edition[M].Packt Publishing，2014.

[11] 田霖，陸國(guó)生，林睿，等.基于RFID和百度AI的無(wú)人值守電力倉(cāng)庫(kù)管理系統(tǒng)[J].工業(yè)控制計(jì)算機(jī)，2019，32（1）：120-121.

作者簡(jiǎn)介：

王昌海（1987-），男，博士，講師.研究領(lǐng)域：機(jī)器學(xué)習(xí)，人臉識(shí)別.

申紅雪（1970-），女，講師，高級(jí)實(shí)驗(yàn)師.研究領(lǐng)域：人工智能，計(jì)算機(jī)網(wǎng)絡(luò).

張王衛(wèi)（1983-），男，博士，講師.研究領(lǐng)域：機(jī)器學(xué)習(xí)，人臉識(shí)別.

孫玉勝（1963-），男，碩士，教授.研究領(lǐng)域：計(jì)算機(jī)信息系統(tǒng).

王 ? ?博（1986-），男，博士，講師.研究領(lǐng)域：云計(jì)算.