左國才 韓東初 蘇秀芝 王海東 吳小平

摘 要：深度學習人臉識別技術已經(jīng)非常成熟，并且應用廣泛，但是將深度學習人臉識別技術應用于課堂行為分析評測的研究卻非常少。因此，本文提出一種基于深度學習人臉識別技術的課堂行為分析評測系統(tǒng)，并將該系統(tǒng)應用于高職院校學生專業(yè)課程課堂行為分析。課堂行為分析評測系統(tǒng)從學生側臉專注度、學生抬頭低頭專注度、眼睛張合度專注度三個方面來判斷學生是否專注聽課，為課堂教學中的學生課堂行為評價提供客觀評價的依據(jù)。實驗證明基于深度學習人臉識別技術的課堂行為分析評測系統(tǒng)可以正確判斷學生的課堂行為，為課堂教學學生課堂行為評價提供依據(jù)，方便課堂教學管理與實施。

關鍵詞： 深度學習;人臉識別;課堂行為分析評測系統(tǒng)

【Abstract】 Deep learning face recognition technology has been very mature and widely used， but the application of deep learning face recognition technology in classroom behavior analysis and evaluation research is very few. Therefore， this paper proposes a classroom behavior analysis and evaluation system based on in-depth learning face recognition technology， and applies this system to the classroom behavior analysis of vocational college students' professional courses. Classroom behavior analysis and assessment system judges whether students concentrate on class from three aspects： students' side face concentration， students' head-up and head-down concentration， and their eyes opening and closing concentration. It provides an objective evaluation basis for students' classroom behavior evaluation in classroom teaching. Experiments show that classroom behavior analysis and evaluation system based on in-depth learning face recognition technology can correctly judge students' classroom behavior， provide a basis for students' classroom behavior evaluation， and facilitate classroom teaching management and implementation.

【Key words】 ?deep learning; face recognition; classroom behavior analysis and evaluation system

0 引 言

課堂行為是在課堂情境中的社會行為，是課堂專注度的外在體現(xiàn)[1]。學生的課堂行為反映學生的學習狀態(tài)和學習效率，與課堂教學質量密切相關。研究層次主要集中在基礎教育、中等職業(yè)教育和基礎研究（社會科學）方面[2-3]。關于課堂行為的研究，國內學界更多是把聚焦點放在教師行為和師生互動行為的研究上[4-7]，而對學生課堂行為的研究相對較少。

國內關于高等教育領域的學生課堂行為研究很少，基礎教育課堂行為研究主要采用主觀報告和定性分析等研究方式，已有研究不適應于復雜的高等教育領域的學生課堂行為研究。本課題擬將人工智能與教育教學研究相結合，設計研發(fā)基于深度學習人臉識別技術的課堂行為分析評測系統(tǒng)，對高職學生課堂行為進行客觀量化分析，更好地服務于教育學領域。

1 系統(tǒng)設計

1.1 課堂行為分析評測系統(tǒng)總體框架

課堂行為分析評測系統(tǒng)主要分為圖像采集模塊、圖像處理模塊、人臉識別模塊、人眼識別模塊、行為分析模塊等五大功能模塊?？傮w框架如圖1所示。

1.2 系統(tǒng)設計思路

綜前所述，本系統(tǒng)主要分為圖像采集模塊、圖像處理模塊、人臉識別模塊、人眼識別模塊、行為分析模塊。對于本系統(tǒng)的整體研發(fā)思路，可做闡釋分述如下。

首先，每一幀視頻中截取判斷目標專注度的圖片，并進行相關圖像處理操作。

然后，使用深度學習模型從圖像數(shù)據(jù)庫中來輔助地離線學習一般化的圖像特征，構造深度特征提取器提取人臉圖像特征，構建有監(jiān)督的深度學習模型，通過在線微調訓練人臉圖像完成人臉識別任務。

最后，對目標人臉面部特征進行檢測，檢測分析目標人物的眼睛、鼻子、嘴巴特征，將目標在教室中表現(xiàn)出的姿態(tài)、神情、動作等特征轉為算法運算，對學生上課專注度進行定量評測。

1.3 課堂行為分析流程

本文設計的基于人臉識別技術的課堂行為分析評測系統(tǒng)，從3個方面實現(xiàn)專注度判斷，即學生側臉專注度的判定;學生抬頭、低頭專注度判定;眼睛的張合度判斷，從而全方位地判斷學生上課的專注度，用于研究現(xiàn)代學徒制班級學生課堂專注行為與學習效果的關系，為現(xiàn)代學徒制班學生課堂學習效果評價提供客觀依據(jù)，最終做出更真實有效的教學評價。學生課堂行為分析流程如圖2所示。

2 系統(tǒng)實現(xiàn)

設計基于人臉識別技術的課堂行為分析評測系統(tǒng)，課堂行為分析評測系統(tǒng)實現(xiàn)步驟詳見如下。

（1）提取到目標人臉，對人臉面部特征進行檢測，檢測到目標人物的眼睛、鼻子、嘴巴。

（2）以人眼為判斷專注度的主要特征，把鼻子作為輔助參考區(qū)域進行判斷。

（3）從學生側臉專注度、學生抬頭低頭專注度、眼睛張合度專注度三個方面來綜合判斷學生是否專注聽課，根據(jù)被檢測目標人眼的張合度大小判定其是否專注。

（4）通過目標在教室中表現(xiàn)出的姿態(tài)、神情、動作等特征轉換為算法運算，判斷求出學生上課的專注度。

2.1 數(shù)據(jù)庫設計

學生信息表：stuInfo（學號，姓名，性別，班級，照片，偏好）

圖像采集表（圖像ID，圖像名稱，圖像大小，圖像類型，抓取時間，存儲路徑，學號，處理標記）

圖像識別表（學號，識別號，圖像ID，存儲路徑，識別結果）

判定過程表（學號，識別號，判定結果，開始時間，結束時間）

專注情況表（學號，判定頻度，開始時間，結束時間）

專注統(tǒng)計表（學號，時間段，判定結果，圖像ID）

2.2 實驗環(huán)境

基于人臉識別的學生上課專注度判斷實驗環(huán)境主要包括硬件和軟件兩個方面。硬件方面，涉及視頻采集，采用了分辨率較高的網(wǎng)絡視頻監(jiān)控攝像機，軟件環(huán)境方面配置具體如下：操作系統(tǒng)為Windows7，64位，CPU為2.6 G，內存為4 GB。深度學習實驗環(huán)境具體如下：CPU為i7-5830K，內存為128 G，GPU為GTX1080，深度學習框架使用TensorFlow1.4 。開發(fā)語言：C++，數(shù)據(jù)庫：Mysql。

2.3 相關代碼

//對齊

FaceAlig：：FaceAlig（const char * model_path）{

faci_detec = new CCFAN（）;

if （model_path == NULL）

model_path = "facesb_fa.bin";

faci_detec->InitModel（model_path）;

float*facial_loc = new float[pts_num * 2];

faci_detec->FaciPoiLoc（gra_im.data， gra_im.width， gra_im.height， face_info， facial_loc）;

for （int i=0; i < pts_num; i++） {

points[i].x = facial_loc[i * 2];

points[i].y = facial_loc[i * 2 + 1]; }

delete[]facial_loc; }

//檢測

facesb：：FaceDete detec（"F：/faceSB/FaceDete/model/facesb_fd.bin"）;

facesb：：FaceAligt point_detec（"F：/faceSB/FaceAligt/model/facesb_fa.bin"）;

FaceIdent_recog（（MODEL_DIR + "facesb_fr.bin"）.c_str（））;

std：：string test_dir = DATA_DIR + "test_face_recog/";

cv：：Mat galle_img_color = cv：：imread（test_dir + "img/test1.jpg"， 1）;

cv：：Matgalle_img_gra;

cv：：cvtColor（galle_img_color， galle_img_gra， CV_BGR2gra）;

cv：：Mat probe_img_color = cv：：imread（test_dir + "img/test2.jpg"， 1）;

cv：：Mat probe_img_gra;

cv：：cvtColor（probe_img_color， probe_img_gra， CV_BGR2gra）;

2.4 實驗結果

課堂行為分析評測系統(tǒng)的主界面如圖3、圖4所示。

課堂行為分析評測系統(tǒng)從學生側臉專注度、學生抬頭低頭專注度進行檢測所得的結果如圖5所示。從圖5可看到，由于學生臉部有遮擋，并且距離較遠，一些學生沒有檢測識別出來，當大多數(shù)學生抬頭時，判定抬頭為專注行為，低頭為不專注行為。從眼睛張合度專注度進行檢測所得結果如圖6所示。從圖6可看到，由于距離較遠，人臉圖像較為模糊，有一個學生能識別人臉，但無法定位到人眼，所以判定為不專注行為，其余4個學生可以正確定位到人臉與人眼，其人眼張合度較大，判定為專注行為。

3 結束語

隨著信息技術的飛速發(fā)展，創(chuàng)新人才培養(yǎng)模式，同時提升高校課堂授課效率，則有著實際應用價值和深遠意義。本次課題即對學生課堂專注行為和課堂專注度分布情況展開了研究。擬設計基于深度學習框架人臉識別算法的課堂行為分析評測系統(tǒng)，實現(xiàn)對人臉和人眼的定位與識別，能夠對正面和側面人臉進行識別，從3個方面判斷學生上課的專注度，并求得客觀量化的分析評測結果，同時提升人臉識別率、判斷的準確度以及識別速度，為課堂教學評價提供依據(jù)。在此基礎上，授課教師可以有針對性地設計教學方案，切實提高課堂教學質量，從而達到預期教學效果。

參考文獻

[1]徐琳，嚴淑斐，史利濤，等.兩岸高校學生課堂行為比較研究—以東北師范大學與臺灣彰化師范大學為例[J].文教資料，2014（15）：157-159.

[2]胡衛(wèi)星，趙苗苗.多媒體教學過程中學生學習行為的實驗研究[J].中小學電教，2005（11）：50-51.

[3]崔允漷.有效教學[M].上海：華東師范大學出版社，2009.

[4]周敏.初中小班化教育背景下學生課堂問題行為的實證研究[D].寧波：寧波大學，2013.

[5]陳霞.語文課堂學生學習行為的研究[D].桂林：廣西師范大學，2007.

[6]趙慶紅，徐錦芬.大學英語課堂環(huán)境與學生課堂行為的關系研究[J].外語與外語教學，2012（4）：66-74.

[7]王會廷，張艷平，閻慧.大學生課堂行為的心理學研究[J].安徽工業(yè)大學學報（社會科學版），2012，29（3）：37-38.