吳祥美

(福州軟件職業(yè)技術(shù)學(xué)院 智能產(chǎn)業(yè)學(xué)院，福州 350299)

0 引言

隨著信息產(chǎn)業(yè)的高速發(fā)展，教學(xué)系統(tǒng)信息化已被廣泛應(yīng)用于各大院校的教學(xué)實(shí)踐，如何在人工智能應(yīng)用及信息化的基礎(chǔ)上，提高課堂的管理效率，減少學(xué)校設(shè)備投資的成本，構(gòu)建智能化的課堂管理體系，一直是困擾各高校的重要問題。因此，開展基于人工智能的智能課堂考勤管理系統(tǒng)的研究與探討，具有重大的價(jià)值和現(xiàn)實(shí)意義。

李昕昕等[1]利用云端人臉識(shí)別技術(shù)，通過研究深度學(xué)習(xí)、人臉識(shí)別和數(shù)據(jù)挖掘等技術(shù)，采樣和取幀來增強(qiáng)識(shí)別準(zhǔn)確率，實(shí)現(xiàn)自動(dòng)化考勤；李書欽等[2]研究校園無線上網(wǎng)及信息化技術(shù)在高校課堂智能考勤系統(tǒng)上的實(shí)踐，提高了考勤工作效率；孫玥等[3]設(shè)計(jì)了一套能快速獲取人臉圖像信息，運(yùn)用深度殘差網(wǎng)絡(luò)進(jìn)行提取定位和人臉識(shí)別的自動(dòng)考勤系統(tǒng);姚靜姝[4]探究深度學(xué)習(xí)和人臉識(shí)別技術(shù)在課堂考勤管理中的應(yīng)用,設(shè)計(jì)并實(shí)現(xiàn)自動(dòng)化課堂考勤系統(tǒng);項(xiàng)新建等[5]通過WIFI技術(shù)與指紋終端進(jìn)行數(shù)據(jù)通信，設(shè)計(jì)并實(shí)現(xiàn)指紋簽到的自動(dòng)化考勤管理系統(tǒng);李雄等[6]基于B/S架構(gòu)，結(jié)合Keras框架，采用Java語(yǔ)言和MySQL數(shù)據(jù)，開發(fā)實(shí)現(xiàn)人臉識(shí)別考勤系統(tǒng)；方書雅等[7]基于Mask R-CNN目標(biāo)檢測(cè)、MTCNN 人臉檢測(cè)，F(xiàn)SA-Net頭部姿態(tài)識(shí)別等算法設(shè)計(jì)了一套無感知課堂考勤系統(tǒng)?；谝陨涎芯浚哉n堂考勤信息化和智能化為目標(biāo)，結(jié)合SSM、VUEJS等框架技術(shù)，設(shè)計(jì)一套基于深度學(xué)習(xí)人臉識(shí)別技術(shù)的高校智能考勤系統(tǒng)，督促學(xué)生上課，提高課堂管理效率。

1 方案設(shè)計(jì)

1.1 總體思路

基于深度學(xué)習(xí)人臉識(shí)別技術(shù)的智慧課堂考勤系統(tǒng)將人臉識(shí)別技術(shù)與學(xué)校監(jiān)控設(shè)備相結(jié)合，利用教室中原有的高清監(jiān)控?cái)z像頭多角度、多時(shí)段地進(jìn)行采集課堂視頻，或者上課教師通過手機(jī)App平臺(tái)進(jìn)行人臉圖像采集，分別通過深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)提取特征向量，然后通過拼接等方式形成新的組合特征向量，與教務(wù)系統(tǒng)中采集的學(xué)生人臉庫(kù)，進(jìn)行1：N比對(duì)。通過特征向量之間的歐式距離計(jì)算是否屬于同一人臉，若相同，則該學(xué)生考勤成功，相應(yīng)的數(shù)據(jù)庫(kù)則記錄相關(guān)課程的考勤信息，并匯總分析出相應(yīng)的考勤報(bào)表并將考勤數(shù)據(jù)傳送給教務(wù)系統(tǒng)。教學(xué)管理者可在管理平臺(tái)實(shí)時(shí)查看并確認(rèn)最終缺課學(xué)生名單，若存在簽到遺漏的，教學(xué)管理者可進(jìn)行調(diào)整相應(yīng)考勤數(shù)據(jù)。通過智能考勤系統(tǒng)進(jìn)行人臉識(shí)別考勤結(jié)果準(zhǔn)確率高，識(shí)別過程可以做到學(xué)生無感知、動(dòng)態(tài)的、多次的，系統(tǒng)可幫助上課教師自動(dòng)進(jìn)行考勤管理，從而解決學(xué)生逃課、代簽、替課等問題的發(fā)生。

1.2 功能體系設(shè)計(jì)

圖1 系統(tǒng)功能設(shè)計(jì)圖

系統(tǒng)功能模塊設(shè)計(jì)如圖1所示，考勤系統(tǒng)主要分為前后臺(tái)部分，后臺(tái)主要完成與教務(wù)系統(tǒng)的數(shù)據(jù)接口、后臺(tái)管理、智能考勤分析、人臉識(shí)別引擎功能，前端考勤管理主要有學(xué)生App和教師App兩個(gè)部分，包括上傳考勤圖片、課程、考勤查看、考勤通知、考勤確認(rèn)、考勤查詢等功能。

其中我的課堂提供給教師查看當(dāng)天的課程安排信息，包括課程名稱、所在班級(jí)、上課節(jié)次、學(xué)生清單及其考勤狀態(tài)等；考勤查詢包括查看自動(dòng)考勤的結(jié)果信息和手動(dòng)提交考勤照片信息功能；自動(dòng)考勤指系統(tǒng)自動(dòng)通過智能監(jiān)控?cái)z像機(jī)獲取相關(guān)的教室監(jiān)控照片，進(jìn)行考勤智能分析，生成對(duì)應(yīng)課程的考勤結(jié)果；考勤通知包括主動(dòng)通知和查看考勤數(shù)據(jù)；考勤確認(rèn)包括考勤數(shù)據(jù)調(diào)整、考勤數(shù)據(jù)確認(rèn)、提交考勤數(shù)據(jù)、同步考勤數(shù)據(jù)到教務(wù)系統(tǒng)。

智能考勤分析模塊基于人臉識(shí)別引擎，結(jié)合課堂考勤場(chǎng)景，對(duì)考勤視頻數(shù)據(jù)進(jìn)行預(yù)處理，同時(shí)對(duì)臉部圖形進(jìn)行檢測(cè)、剪裁和人臉預(yù)處理，輸出課堂上學(xué)生的高質(zhì)量人臉頭像。然后系統(tǒng)提取學(xué)生的人臉特征，通過人臉匹配技術(shù)，將課程班級(jí)的里每個(gè)學(xué)生人臉與采集到的人臉頭像集進(jìn)行1：N匹配，最終得出該課程班級(jí)的所有學(xué)生的考勤情況。

人臉識(shí)別引擎模塊基于深度學(xué)習(xí)人臉識(shí)別技術(shù)，深度學(xué)習(xí)是模擬人腦進(jìn)行神經(jīng)網(wǎng)絡(luò)的認(rèn)知學(xué)習(xí)，學(xué)習(xí)速度快，分析圖像規(guī)律，完善模型，實(shí)現(xiàn)對(duì)臉部圖形進(jìn)行檢測(cè)和剪裁，輸出人臉頭像。人臉預(yù)處理是基于檢測(cè)結(jié)果，通過對(duì)檢測(cè)出的人臉圖像進(jìn)行過濾噪聲、校正灰度等優(yōu)化處理、形成高質(zhì)量的人臉圖像，從而更準(zhǔn)確地提取人臉特征。然后基于人臉匹配技術(shù)，通過計(jì)算特征向量之間的歐式距離來判斷是否屬于同一人臉。

1.3 考勤流程設(shè)計(jì)

首先,將學(xué)校的學(xué)生系統(tǒng)及考勤系統(tǒng)的數(shù)據(jù)進(jìn)行預(yù)處理，得到每次課堂的學(xué)生信息(包括學(xué)生頭像)。接著，系統(tǒng)在課堂的上課時(shí)間范圍內(nèi)隨機(jī)截取監(jiān)控視頻片段，通過深度學(xué)習(xí)人臉檢測(cè)提取人臉特征值，并包圍剪裁得到本課堂的完整人臉庫(kù)。并將課堂的每個(gè)學(xué)生人像同人臉庫(kù)進(jìn)行1：N的搜索比對(duì)人臉特征，若搜索到小于設(shè)定的閾值的人臉，則表示該學(xué)生考勤成功；依次完成每個(gè)學(xué)生的1：N人臉?biāo)阉髌ヅ洌罱K得到每次課堂的學(xué)生考勤數(shù)據(jù)。 由于教室存在未安裝攝像頭的可能性，且攝像頭的成像質(zhì)量也有存在不足的情況，為了解決個(gè)別學(xué)生存在全程未露臉或側(cè)臉、遮擋、低頭等采集不到位的情況，教師可在移動(dòng)端的考勤系統(tǒng)上進(jìn)行查看，再確認(rèn)是否有遺漏的同學(xué)，可以及時(shí)通過上傳同學(xué)的人像數(shù)據(jù)完成考勤數(shù)據(jù)的調(diào)整。

圖2 考勤流程圖

2 開發(fā)實(shí)現(xiàn)

軟件代碼部分主要有系統(tǒng)應(yīng)用和人臉識(shí)別引擎，系統(tǒng)應(yīng)用是用JAVA編程語(yǔ)言編寫，用Mysql數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)；人臉識(shí)別引擎是使用Python編程語(yǔ)言實(shí)現(xiàn)，兩大模塊之間通過API接口進(jìn)行通信。

2.1 系統(tǒng)開發(fā)實(shí)現(xiàn)

系統(tǒng)應(yīng)用功能分為考勤管理系統(tǒng)、學(xué)生App、教師App模塊。其中考勤管理系統(tǒng)模塊是采用SSM框架，即整合了Spring 、Spring MVC和Mybatis三個(gè)框架，其中Spring MVC輕量級(jí)框架是用來解耦數(shù)據(jù)層、展現(xiàn)層和控制層，簡(jiǎn)化web開發(fā)，完成HTTP請(qǐng)求的轉(zhuǎn)發(fā)和視圖管控；Spring容器框架則基于IOC和AOP實(shí)現(xiàn)業(yè)務(wù)對(duì)象生命周期進(jìn)行管理；Mybatis則基于持久化框架完成數(shù)據(jù)的映射和存儲(chǔ)操作。同時(shí)通過SQL JOB方式且按一定的格式準(zhǔn)備將現(xiàn)有的教務(wù)系統(tǒng)及學(xué)生系統(tǒng)的數(shù)據(jù)同步到考勤后臺(tái)管理系統(tǒng)，快速完善排課計(jì)劃、教師、班級(jí)、學(xué)生及頭像信息、課程表等數(shù)據(jù)庫(kù)表數(shù)據(jù)，簡(jiǎn)化數(shù)據(jù)采集的工作流程。學(xué)生App和教師App接口的實(shí)現(xiàn)采用原生應(yīng)用+VUEJS前端框架+MUI 框架的混合編程方式，這種開發(fā)模式只編寫一套核心代碼，減少重復(fù)開發(fā)提高效率，同時(shí)能保證用戶體驗(yàn)和系統(tǒng)性能。其中App的接口主要使用后臺(tái)系統(tǒng)暴露的Restful API接口，使用 JSON數(shù)據(jù)格式完成前后端的通訊，數(shù)據(jù)傳輸快，性能好。

圖3 技術(shù)框架圖

2.2 人臉識(shí)別引擎實(shí)現(xiàn)

該模塊主要基于深度學(xué)習(xí)來實(shí)現(xiàn)圖像預(yù)處理、人臉檢測(cè)、人臉匹配等功能。圖像預(yù)處理有兩個(gè)作用：一個(gè)是提高編碼視頻的質(zhì)量，降低環(huán)境、噪聲、光照、運(yùn)動(dòng)等影響。另一個(gè)作用是提高編碼效率和有利于碼率控制。其次，針對(duì)視頻每幀圖像都進(jìn)行人臉目標(biāo)檢測(cè)，利用更高效的深度學(xué)習(xí)模型YOLO，YOLO將檢測(cè)任務(wù)當(dāng)作回歸問題處理，分析圖像像素得到bounding box坐標(biāo)、圖像的置信度和類概率。通過YOLO，每張圖像能迅速分析出圖像中的人臉及其位置。然后提取68個(gè)關(guān)鍵特征點(diǎn)，基于基準(zhǔn)人臉的鼻子，眼睛和嘴唇特征點(diǎn)進(jìn)行相似變換，在不改變面部重要五官的基礎(chǔ)上進(jìn)行對(duì)齊。在得到每張人臉的特征點(diǎn)之后，通過特征點(diǎn)形成矩形，實(shí)現(xiàn)人臉的精確定位并裁剪出來，再運(yùn)用Resnet深度學(xué)習(xí)算法來獲得一個(gè)128維的特征向量。最后，人臉匹配實(shí)現(xiàn)是通過計(jì)算特征向量之間的歐式距離，如果該距離小于設(shè)定的閾值，則匹配成功為同一人臉，否則不匹配，為不同的人臉。

圖4 人臉識(shí)別流程圖

3 功能實(shí)現(xiàn)

3.1 教師App的功能

教師App可查看教師的個(gè)人信息，當(dāng)日課堂信息，包括課程名稱、教室、時(shí)間、班級(jí)記入學(xué)生的考勤數(shù)據(jù)，允許教師補(bǔ)錄學(xué)生的出勤信息并提交。同時(shí)可從課程信息列表入口進(jìn)入查詢對(duì)應(yīng)課程的歷史課堂考勤信息。

圖5 教師App的當(dāng)日課程考勤界面

圖6 教師App的教師課程信息界面

圖7 教師App的歷史考勤數(shù)據(jù)查詢界面

3.2 學(xué)生App的功能

學(xué)生App可顯示學(xué)生的個(gè)人信息、考勤信息，具體包括姓名、學(xué)號(hào)、所在班級(jí)、專業(yè)、日期、周次、出勤情況等信息，但不能進(jìn)行新增、編輯操作。

3.3 考勤后臺(tái)管理的功能

在考勤系統(tǒng)的后臺(tái)上，教師可查看本人的課程信息、考勤數(shù)據(jù)、考勤統(tǒng)計(jì)等信息；有權(quán)限人員可查看相關(guān)課程或?qū)W生的考勤數(shù)據(jù)、考勤統(tǒng)計(jì)等信息。同時(shí)系統(tǒng)管理員可對(duì)課程、排課、教師、學(xué)生等信息進(jìn)行新增、刪除、修改等管理操作。

圖8 考勤數(shù)據(jù)展示

4 結(jié)語(yǔ)

本文基于深度學(xué)習(xí)算法，結(jié)合人臉檢測(cè)、識(shí)別、匹配技術(shù)，結(jié)合課程安排信息，實(shí)時(shí)對(duì)課堂上的學(xué)生進(jìn)行人臉掃描識(shí)別匹配，真正做到動(dòng)態(tài)識(shí)別考勤。基于深度學(xué)習(xí)人臉識(shí)別的智能課堂考勤系統(tǒng)，成本低，識(shí)別結(jié)果準(zhǔn)確率高，識(shí)別過程無感知、多次的，高效地解決課堂考勤問題，并為教師的課堂管理提供保障。