左國才 吳小平 蘇秀芝 王海東

摘要：本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)CNN人臉識別模型，并將該模型應(yīng)用于高職院校學(xué)生課堂行為分析。實(shí)驗(yàn)證明，使用卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)框架提取人臉深度特征，構(gòu)建深度學(xué)習(xí)人臉識別模型，完成人臉識別，相比傳統(tǒng)的人工設(shè)計(jì)的人臉特征提取，大大提高人臉識別的準(zhǔn)確率。學(xué)生課堂行為識別算法可以正確判斷學(xué)生的課堂行為，為課堂教學(xué)評價(jià)提供依據(jù)，實(shí)現(xiàn)更有效地教學(xué)，切實(shí)提高教學(xué)質(zhì)量。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)：人臉識別模型：課堂行為分析

0 引言

國務(wù)院國家職業(yè)教育改革實(shí)施方案（國發(fā)[2019]4號）提出促進(jìn)職業(yè)院校加強(qiáng)專業(yè)建設(shè)、深化課程改革、提高師資水平，全面提升教育教學(xué)質(zhì)量及人才培養(yǎng)質(zhì)量。通過對國內(nèi)外課堂行為相關(guān)研究的學(xué)術(shù)史梳理。以及國內(nèi)外主流數(shù)據(jù)庫文獻(xiàn)相關(guān)研究動態(tài)得知，國內(nèi)關(guān)于高等教育領(lǐng)域的學(xué)生課堂行為研究很少?；A(chǔ)教育課堂行為研究主要采用主觀報(bào)告和定性分析等研究方式，已有研究不適應(yīng)于復(fù)雜的高等教育領(lǐng)域的學(xué)生課堂行為研究。本文將人工智能與教育教學(xué)研究相結(jié)合。對高職學(xué)生課堂行為進(jìn)行客觀量化分析，更好地服務(wù)于教育學(xué)領(lǐng)域。

本文設(shè)計(jì)基于CNN人臉識別的課堂行為分析算法，用于研究學(xué)生課堂專注行為與教學(xué)質(zhì)量的關(guān)系，為課堂教學(xué)評價(jià)提供依據(jù)，實(shí)現(xiàn)有針對性的教學(xué)。

1 課堂行為研究現(xiàn)狀

課堂行為是在課堂情境中的社會行為。它是課堂專注度的外在體現(xiàn)。學(xué)生的課堂行為反映學(xué)生的學(xué)習(xí)狀態(tài)和學(xué)習(xí)效率。與課堂教學(xué)質(zhì)量密切相關(guān)。

目前課堂行為研究層次主要集中在基礎(chǔ)教育、中等職業(yè)教育和基礎(chǔ)研究（社會科學(xué)）方面。從現(xiàn)有的相關(guān)文獻(xiàn)得知，國內(nèi)集中在教師行為和師生互動行為的研究上，而對學(xué)生課堂行為的研究相對較少。研究最多的是關(guān)于學(xué)生課堂問題行為、學(xué)生課堂行為分類和學(xué)習(xí)行為的影響因素三個(gè)方面。在國際文獻(xiàn)總庫Wiley數(shù)據(jù)庫中的相關(guān)文獻(xiàn)得知，國外學(xué)生課堂行為研究領(lǐng)域主要是高等教育，研究主要集中在2005年到2010年之間。我國關(guān)于學(xué)生課堂專注度的研究是最近10年才興起，每年成遞增的趨勢。在這些文獻(xiàn)中關(guān)于學(xué)生課堂專注度本身的研究比較少，大多集中在調(diào)查和提高學(xué)生課堂專注度的方法和策略。

因此，基于CNN人臉識別客觀評測課堂教學(xué)質(zhì)量在實(shí)際應(yīng)用中具有廣泛的前景，在理論研究中也具有較大的研究價(jià)值。

2 基于CNN人臉識別模型的課堂行為分析

2.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

本文提出基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的人臉識別算法，使用CNN模型從大規(guī)模的圖像數(shù)據(jù)庫中離線學(xué)習(xí)一般化的圖像特征，構(gòu)造深度特征提取器，用于提取人臉特征，卷積層的局部連接和權(quán)值共享，并且可以將自動提取特征和分類功能融合在一個(gè)網(wǎng)絡(luò)中，構(gòu)建有監(jiān)督的高效的深度學(xué)習(xí)模型，完成人臉識別任務(wù)。

卷積神經(jīng)網(wǎng)絡(luò)CNN主要用于圖像識別，由卷積層、池化層、全連接層等組成。CNN網(wǎng)絡(luò)模型如圖1所示。

卷積神經(jīng)網(wǎng)絡(luò)中卷積層的權(quán)值共享減少了網(wǎng)絡(luò)參數(shù)量，局部連接減少了網(wǎng)絡(luò)的計(jì)算量。用Z表示圖像元素，W表示卷積核權(quán)重，W。表示卷積核偏置項(xiàng)，y表示特征圖像元素，f表示激活函數(shù)。卷積計(jì)算公式如（1）所示：

2.2 基于CNN的人臉識別算法

2.2.1 人臉識別網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的人臉識別網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層、softmax分類器一共7層，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.2.2 人臉識別模型的訓(xùn)練與測試

（1）將網(wǎng)絡(luò)訓(xùn)練過程進(jìn)行多次迭代，每次迭代包括多次訓(xùn)練，在前向傳播中將CNN提取的特征歸一化后作為Softmax的輸入，對Softmax分類器進(jìn)行訓(xùn)練。

（2）將測試樣本輸入到已訓(xùn)練的網(wǎng)絡(luò)中，通過Softmax分類器完成分類識別，根據(jù)測試樣本標(biāo)簽與真實(shí)值對比，計(jì)算錯(cuò)誤識別率，完成分類測試。

2.2.3 人臉識別算法流程

輸入：課堂視頻學(xué)生人臉圖片

輸出：相似概率最高的類別及相似度概率

（1）輸入課堂視頻學(xué)生人臉圖片。

（2）將學(xué)生人臉圖片輸入CNN人臉識別模型中，進(jìn)行分類檢測識別。

（3）選取相似概率最大的類型進(jìn)行輸出，完成人臉識別。

2.3 學(xué)生課堂行為分析算法實(shí)現(xiàn)

使用CNN模型提取到目標(biāo)人臉，對人臉面部特征進(jìn)行檢測，檢測目標(biāo)人物的眼睛。以人眼張開度來判斷學(xué)生在課堂中專注學(xué)習(xí)的課堂行為，通過CNN模型檢測學(xué)生在課堂中表現(xiàn)出的姿態(tài)、神情、動作等課堂行為，綜合判斷學(xué)生在課堂上是否認(rèn)真聽課。

2.3.1 基本思路

首先，隨機(jī)從學(xué)生課堂視頻中截取圖像幀，并且對圖片進(jìn)行相應(yīng)處理：

然后，使用CNN模型離線學(xué)習(xí)圖像特征，構(gòu)造深度特征提取器提取人臉圖像特征，構(gòu)建有監(jiān)督地深度學(xué)習(xí)模型，通過在線微調(diào)訓(xùn)練人臉圖像完成人臉識別任務(wù)：

最后，對目標(biāo)人臉面部特征進(jìn)行檢測，檢測分析目標(biāo)人物的眼睛、鼻子、嘴巴特征，將目標(biāo)所在教室表現(xiàn)出的姿態(tài)、神情、動作等特征，通過CNN模型進(jìn)行檢測，判斷學(xué)生上課專注度的高低。

2.3.2專注度判定流程

根據(jù)學(xué)生在課堂上眼睛張開程度以及學(xué)生的在教室表現(xiàn)出的姿態(tài)、神情、動作等特征，來預(yù)測學(xué)生上課專注度的概率性，學(xué)生上課專注度判斷流程如圖3所示。

2.3.3 檢測目標(biāo)臉部及眼睛定位

首先根據(jù)眼睛在人臉中所在位置的特點(diǎn)。將人臉區(qū)域進(jìn)行裁剪，以減少定位時(shí)的計(jì)算量。然后對灰度圖像進(jìn)行邊緣提取，再利用邊界像素的灰度梯度信息去進(jìn)行快速Hough變換，實(shí)現(xiàn)眼睛定位。眼睛定位流程如圖4所示。

2.3.4專注度判定算法

在課堂上，學(xué)生的眼睛張開越大，其上課時(shí)的專注度就越高。采集學(xué)生抬頭時(shí)的圖像數(shù)據(jù)，通過CNN人臉識別模型，檢測識別人臉，通過Hough變換，實(shí)現(xiàn)眼睛定位，根據(jù)眼睛檢測識別結(jié)果，計(jì)算被測目標(biāo)人眼的張開度。如果其張開度大則表示上課中課堂專注的概率性較大，否則上課中課堂專注的概率性較小。

采用CNN模型進(jìn)行人臉識別，用矩形框標(biāo)識人臉，檢測目標(biāo)人臉的眼睛，將眼睛部分用矩形框標(biāo)識出來，計(jì)算被測目標(biāo)眼睛張開度：

其中，H_i表示眼睛張開的高度，W_i表示眼睛張開的寬度。

計(jì)算被測目標(biāo)眼球的面積，將被測目標(biāo)圖像中眼睛張開度面積與其最大的眼睛張開度面積相比，得出被測目標(biāo)在上課中課堂專注度：

當(dāng)被測目標(biāo)ZKD的值大于20%時(shí)，可以判斷其在上課中的課堂專注概率較高，當(dāng)被測目標(biāo)ZKD的值小于20%時(shí)，可以判斷其上課中的課堂專注概率較低。

3 測試序列及實(shí)驗(yàn)結(jié)果分析

基于CNN人臉識別模型的大學(xué)生課堂行為分析算法的實(shí)驗(yàn)環(huán)境為：硬件環(huán)境采用視頻監(jiān)控?cái)z像機(jī)：軟件環(huán)境采用深度學(xué)習(xí)實(shí)驗(yàn)平臺，CPU為i7-5830K，內(nèi)存為128G，GPU為GTX1080，框架為TensorFlow1.4，語言為Python3.6.

隨機(jī)選取50組學(xué)生在教室上課時(shí)的課堂視頻序列。間隔5s左右隨機(jī)采集學(xué)生上課時(shí)的課堂教學(xué)視頻中的一幀圖像進(jìn)行人臉檢測和人眼定位，計(jì)算學(xué)生上課時(shí)其眼睛張開時(shí)的眼球面積，結(jié)合通過CNN模型對學(xué)生上課時(shí)在課堂表現(xiàn)的神情、姿態(tài)進(jìn)行是否認(rèn)真聽課的判斷，最終得出被測學(xué)生在上課時(shí)的是否專注課堂學(xué)習(xí)的概率。實(shí)驗(yàn)結(jié)果如圖5所示，在學(xué)生進(jìn)行課堂學(xué)習(xí)中，大多數(shù)的學(xué)生是抬頭，眼睛張開度較大，神情較為專注，表示該學(xué)生在上課時(shí)專注課堂的概率較高，否則，則該學(xué)生在上課時(shí)專注課堂的概率較低。

4 結(jié)束語

本文采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型來完成識別目標(biāo)深度特征的提取以及實(shí)現(xiàn)人臉識別。卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)合深度學(xué)習(xí)結(jié)構(gòu)，使用梯度下降法的反向傳播算法來訓(xùn)練網(wǎng)絡(luò)的一種有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)把自動提取特征和分類功能融合在一個(gè)網(wǎng)絡(luò)中，降低人臉識別過程的復(fù)雜度，卷積層的局部連接和權(quán)值共享特性使訓(xùn)練的網(wǎng)絡(luò)參數(shù)大大減少，提高網(wǎng)絡(luò)訓(xùn)練性能。

設(shè)計(jì)基于CNN人臉識別模型的課堂行為分析算法，結(jié)合檢測識別學(xué)生上課時(shí)的姿態(tài)、神情等，對被測學(xué)生在上課時(shí)的課堂專注行為進(jìn)行研究，實(shí)現(xiàn)對人臉識別與人眼的定位，計(jì)算人眼張開度來判斷學(xué)生在上課時(shí)專注課堂的概率，判斷學(xué)生在上課時(shí)是否在認(rèn)真學(xué)習(xí)。為教學(xué)質(zhì)量評價(jià)提供客觀量化的分析評測結(jié)果，同時(shí)基于CNN深度學(xué)習(xí)模型提升了人臉識別的準(zhǔn)確率。