李盡秀 孫濤

關(guān)鍵詞：表情識(shí)別；眼部關(guān)鍵點(diǎn)檢測(cè)；表情持續(xù)時(shí)間統(tǒng)計(jì)；專注度評(píng)價(jià)

1引言

近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，表情識(shí)別已成為感知學(xué)習(xí)情緒最直接和最有效的方式，備受教育技術(shù)領(lǐng)域關(guān)注。然而，由于表情與認(rèn)知之間關(guān)聯(lián)度復(fù)雜、教育場(chǎng)景復(fù)雜多變等，學(xué)生表情識(shí)別依然是一個(gè)開(kāi)放問(wèn)題。心理學(xué)家MEHRABIAN通過(guò)研究發(fā)現(xiàn)：“情緒表達(dá)=7%的語(yǔ)言+ 38％的姿勢(shì)表情+55%的面部表情”，面部表情包含豐富直觀的情緒信息。研究表明，在學(xué)習(xí)環(huán)境下，面部表情不僅能直觀反映學(xué)生的情緒狀態(tài)，還能反映學(xué)生的心理狀態(tài)[2]。

通常而言，課堂環(huán)境下學(xué)生的面部表情以中性表情居多。然而，中性表情識(shí)別的結(jié)果并不能作為準(zhǔn)確判斷學(xué)生聽(tīng)課專注度的依據(jù)，無(wú)法確定學(xué)生在中性表情的狀態(tài)下是專注聽(tīng)講，還是走神發(fā)呆。因此，本文將線上教學(xué)環(huán)境中學(xué)生的中性表情進(jìn)一步劃分為“專注”和“走神”兩種子表情，提出了一種基于Dlib眼部關(guān)鍵點(diǎn)檢測(cè)的“專注”與“走神”表情識(shí)別方法，通過(guò)計(jì)算眼睛高寬比，實(shí)現(xiàn)“專注”與“走神”兩類表情的識(shí)別，并在此基礎(chǔ)上設(shè)計(jì)學(xué)生表情持續(xù)時(shí)間統(tǒng)計(jì)算法，計(jì)算各表情持續(xù)的時(shí)間，為線上教學(xué)環(huán)境中精準(zhǔn)判斷學(xué)生聽(tīng)課專注度提供技術(shù)依據(jù)與支持。

2相關(guān)研究

隨著學(xué)生表情識(shí)別研究的不斷深入，國(guó)內(nèi)外學(xué)者建立了許多與學(xué)生表情相關(guān)的數(shù)據(jù)庫(kù)，但其構(gòu)建標(biāo)準(zhǔn)和方法并不統(tǒng)一。目前，大多數(shù)研究者在Ekman六類基本情緒（憤怒、厭惡、恐懼、高興、悲傷、驚訝）理論[3]基礎(chǔ)上開(kāi)展學(xué)生表情識(shí)別研究，如表1所列。

現(xiàn)有的面部表情識(shí)別技術(shù)中魏刃佳等[9]基于ASM定位人臉特征點(diǎn)，獲取眼部和嘴巴的形變特征，以識(shí)別學(xué)習(xí)者的疲勞情況。韓麗等[10]基于AAM對(duì)課堂環(huán)境下學(xué)生面部關(guān)鍵點(diǎn)進(jìn)行標(biāo)記，依據(jù)建立的形狀模型提取多姿態(tài)人臉特征，有效解決了人臉姿態(tài)的多樣性，取得了較好的識(shí)別效果。徐振國(guó)[11]設(shè)計(jì)了一個(gè)7層CNN模型，能夠快速準(zhǔn)確地識(shí)別學(xué)生的面部表情，進(jìn)一步提升判斷學(xué)生的情緒整體狀態(tài)的效果。

基于眼睛特征的方法是對(duì)眼睛特有的形狀、虹膜與眼白的像素差等固有的特征進(jìn)行檢測(cè)，這些方法實(shí)現(xiàn)簡(jiǎn)單。侯向丹等[12]根據(jù)眼睛與周圍區(qū)域的對(duì)比度檢測(cè)眼睛候選區(qū)域，并利用在水平和豎直方向的積分投影法定位眼睛，而當(dāng)頭部姿態(tài)變化時(shí)，積分投影誤差較大。RUILIAN利用霍夫變換法對(duì)眼睛的橢圓形狀特征進(jìn)行檢測(cè)，但在多姿態(tài)下眼睛形狀變化較大。為解決多姿態(tài)下的眼睛定位問(wèn)題，KIM等[14]提出一種基于多尺度虹膜形狀特征的方法，首先進(jìn)行人臉定位，然后利用多尺度虹膜特征提取眼睛候選區(qū)域，最后對(duì)眼睛候選區(qū)域進(jìn)行分類篩選，得到最終的眼睛位置。由于在現(xiàn)實(shí)的無(wú)約束環(huán)境下，眼睛的形狀、虹膜等固有特征很容易受到影響，所以這些方法在現(xiàn)實(shí)條件下的效果都不理想。

3工具介紹

Dlib是一個(gè)現(xiàn)代C++工具箱，其中包含機(jī)器學(xué)習(xí)算法和在C++創(chuàng)建復(fù)雜軟件以解決實(shí)際問(wèn)題的工具。它廣泛應(yīng)用于工業(yè)界和學(xué)術(shù)界，包括機(jī)器人、嵌入式設(shè)備、移動(dòng)電話和大規(guī)模高性能計(jì)算環(huán)境。Dlib的開(kāi)源許可證允許它在任何應(yīng)用中免費(fèi)使用。Dlib包含很多模塊，近年來(lái)，學(xué)者主要關(guān)注于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、圖像處理等模塊的開(kāi)發(fā)。它的主要特點(diǎn)也非常多，其中包括文檔豐富、高質(zhì)量的廣泛兼容的代碼等，而在圖形模型推理算法中，加入樹(shù)算法可以在貝葉斯網(wǎng)絡(luò)中進(jìn)行精確推理。在圖像處理技術(shù)中，用來(lái)讀取和保存常用圖像格式的是一種例行程序。針對(duì)各種像素類型之間的自動(dòng)顏色空間轉(zhuǎn)換，常見(jiàn)的圖像操作，如邊緣檢測(cè)和形態(tài)學(xué)操作，SURF，HOG和FHOG的特征提取算法，還可作為圖像中目標(biāo)檢測(cè)的工具，包括正面人臉檢測(cè)和目標(biāo)姿態(tài)估計(jì)以及應(yīng)用高質(zhì)量的人臉識(shí)別。

4基于眼睛關(guān)鍵點(diǎn)檢測(cè)的“專注”與“走神”表情識(shí)別

4.1人臉數(shù)據(jù)集

視頻數(shù)據(jù)采集于內(nèi)蒙古科技大學(xué)線上騰訊會(huì)議授課環(huán)境，采集工具為筆記本電腦攝像頭，視頻來(lái)源則是對(duì)學(xué)生聽(tīng)課場(chǎng)景的錄屏操作。所采取的視頻為5段不同學(xué)生的上課視頻，視頻格式為MP4，如圖1所示。將視頻通過(guò)Video Crop轉(zhuǎn)變?yōu)閹瑪?shù)為3幀的圖像并保存。

4.2實(shí)驗(yàn)設(shè)計(jì)與實(shí)現(xiàn)

本實(shí)驗(yàn)中采用的模型是shape_predictor_68_facelandmarks. dat。這是一個(gè)人臉68關(guān)鍵點(diǎn)檢測(cè)模型，如圖2所示，利用68個(gè)關(guān)鍵點(diǎn)對(duì)人臉進(jìn)行檢測(cè)。

首先，將數(shù)據(jù)利用圖像處理中的開(kāi)運(yùn)算，去除類膚色塊中像素點(diǎn)少于100的區(qū)域，并分割出人臉區(qū)域。其次，標(biāo)記眼部的6個(gè)特征點(diǎn)，每個(gè)眼睛區(qū)域表示為6個(gè)坐標(biāo)。眼部特征提取算法如表2所列。

即以右眼目青區(qū)域的左角為起點(diǎn)，如圖3所示，以順時(shí)針?lè)绞皆谘坨R區(qū)域的周圍設(shè)置6個(gè)面部特征點(diǎn)。其中，P1為眼睛區(qū)域的左角面部特征點(diǎn)的位置，P2為眼睛區(qū)域的左上面部特征點(diǎn)的位置，P3為眼睛區(qū)域的右上面部特征點(diǎn)的位置．P4為眼睛區(qū)域右角面部特征點(diǎn)的位置，P5為眼睛區(qū)域的右下面部特征點(diǎn)的位置，P6為眼睛區(qū)域的左下面部特征點(diǎn)的位置。

根據(jù)采集的眼部6個(gè)特征點(diǎn)的坐標(biāo)來(lái)計(jì)算每一個(gè)學(xué)生圖像的眼睛高寬比。如公式（1）所示，W為眼睛高寬比的比例。

4.3

實(shí)驗(yàn)結(jié)果與誤差分析

當(dāng)人眼睜開(kāi)日寸，高寬比在某個(gè)值域范圍內(nèi)波動(dòng)；當(dāng)人眼閉合時(shí)，高寬比迅速下降，理論上接近于0。洪子夢(mèng)[15]提出一種基于眼睛長(zhǎng)寬比的船舵手疲勞檢測(cè)方法以及人工判斷，當(dāng)眼睛的高寬比例大于0.25的時(shí)候，判定學(xué)生為“專注”，并用綠色進(jìn)行說(shuō)明，而“走神”的時(shí)候則用比較顯眼的紅色來(lái)說(shuō)明。圖4為眼目青特征點(diǎn)識(shí)別展示圖。

將采集的學(xué)生人臉視頻利用視頻剪輯器剪輯成一個(gè)包含兩類學(xué)生表情的5分37秒視頻，并對(duì)通過(guò)人工統(tǒng)計(jì)方法得出的表情進(jìn)行篩選和對(duì)比分析。學(xué)生表情數(shù)量統(tǒng)計(jì)及誤差如表4所列。

表4中第一行是人工統(tǒng)計(jì)的表情數(shù)量：第二行是本算法識(shí)別的表情數(shù)量：第三行是兩種數(shù)量統(tǒng)計(jì)方法的絕對(duì)數(shù)量誤差：第四行是兩種數(shù)量統(tǒng)計(jì)方法的相對(duì)數(shù)量誤差，其計(jì)算方法如公式（2）所示：

在公式（2）中，RE為兩種數(shù)量統(tǒng)計(jì)方法的相對(duì)誤差；AE為兩種數(shù)量統(tǒng)計(jì)方法的絕對(duì)誤差；CE為人工統(tǒng)計(jì)的學(xué)生課堂表情數(shù)量。

在線上課堂學(xué)生“專注”與“走神”的表情識(shí)別中，將眼睛高寬比作為判斷學(xué)生“專注”與“走神”狀態(tài)的重要依據(jù)，“專注”時(shí)眼睛開(kāi)合較大，而在“走神”時(shí)眼睛的開(kāi)合較小。實(shí)驗(yàn)結(jié)果表明，該方法識(shí)別準(zhǔn)確率為95. 1％，誤差相對(duì)較小，可為線上課堂教學(xué)評(píng)價(jià)提供技術(shù)支持。

5表情持續(xù)時(shí)間統(tǒng)計(jì)

學(xué)生聽(tīng)課狀態(tài)與“專注”和“走神”兩種表情的持續(xù)時(shí)間高度相關(guān)。表情持續(xù)時(shí)間統(tǒng)計(jì)是通過(guò)人臉眼睛關(guān)鍵點(diǎn)識(shí)別出視頻圖像數(shù)據(jù)中學(xué)生的兩種表情，并統(tǒng)計(jì)眼睛關(guān)鍵點(diǎn)識(shí)別出來(lái)的視頻中表情的視頻幀數(shù)，再利用表情的視頻幀數(shù)與視頻幀率的關(guān)系計(jì)算出學(xué)生上述兩種表情的持續(xù)時(shí)間，經(jīng)由公式（3）實(shí)現(xiàn)：

在公式（3）中，T為學(xué)生表情的時(shí)間，count為學(xué)生表情的幀數(shù)，rate為每秒視頻的幀率。學(xué)生表情持續(xù)時(shí)間統(tǒng)計(jì)算法如表5所列。

為了驗(yàn)證學(xué)生表情持續(xù)時(shí)間算法及其誤差情況，將攝像頭采集的五個(gè)學(xué)生的單個(gè)人臉視頻剪輯成一個(gè)5分38秒的視頻，通過(guò)人工統(tǒng)計(jì)方法得出視頻中學(xué)生上課表情的時(shí)長(zhǎng)，同時(shí)采用本文算法，將學(xué)生上課表情的時(shí)間與人工統(tǒng)計(jì)時(shí)長(zhǎng)進(jìn)行對(duì)比分析。學(xué)生表情持續(xù)日寸間統(tǒng)計(jì)及誤差如表6所列。

表6中第一行是人工統(tǒng)計(jì)的學(xué)生表情持續(xù)時(shí)間；第二行是本算法統(tǒng)計(jì)的學(xué)生表情持續(xù)時(shí)間：第三行是兩種時(shí)間統(tǒng)計(jì)方法的絕對(duì)誤差：第四行是兩種日寸間統(tǒng)計(jì)方法的相對(duì)誤差，其計(jì)算方法如公式（4）所示：

在公式（4）中，RE為兩種時(shí)間統(tǒng)計(jì)方法的相對(duì)誤差；AE為兩種時(shí)間統(tǒng)計(jì)方法的絕對(duì)誤差；CE為人工統(tǒng)計(jì)的學(xué)生課堂表情持續(xù)日寸間。

從表6可知，本文表情持續(xù)時(shí)間算法中“專注”表情的誤差比較小，只有0.1%，基本上滿足學(xué)生表情識(shí)別的檢測(cè)需求，而“走神”的誤差較大，達(dá)到了10.4%。經(jīng)過(guò)實(shí)驗(yàn)分析，主要是在眼睛的高寬比小于特定值時(shí)，“走神”與眨眼的過(guò)渡期是有重合的，當(dāng)學(xué)生眨眼時(shí)，本算法采取的幀數(shù)（3幀）會(huì)出現(xiàn)時(shí)間差。所以，針對(duì)這一現(xiàn)象，可以在后續(xù)的實(shí)驗(yàn)中提取“走神”的視頻，然后在一定的時(shí)間內(nèi)設(shè)定一個(gè)閾值，如果高寬比處于眨眼的浮動(dòng)日寸間（0.2～0.4s）范圍且小于該閾值，就可判定為眨眼：如果大于該閾值且保持一定的日寸間，就可判定為“走神”。但總體而言，利用學(xué)生表情持續(xù)時(shí)間統(tǒng)計(jì)算法基本上能夠統(tǒng)計(jì)出學(xué)生兩種表情的持續(xù)時(shí)間。

6線上課堂學(xué)生專注度評(píng)價(jià)

基于線上課堂學(xué)生“專注”與“走神”兩種表情識(shí)別結(jié)果，從以下兩個(gè)維度開(kāi)展線上課堂學(xué)生專注度評(píng)價(jià)，具體如下。

6.1線上課堂學(xué)生專注度占比分析

網(wǎng)上授課與傳統(tǒng)的線下課堂不同，教師與學(xué)生在空間上處于分離狀態(tài)，除了在溝通的時(shí)候會(huì)出現(xiàn)一定的障礙，更為重要的是，教師并不能第一時(shí)間觀察出學(xué)生上課時(shí)的狀態(tài)，只能通過(guò)課堂測(cè)驗(yàn)和考試的形式來(lái)判斷學(xué)生整體的學(xué)習(xí)狀態(tài)。其弊端顯而易見(jiàn)，即教師不能及時(shí)在課堂上對(duì)學(xué)生狀態(tài)的變化做出調(diào)整。

6.1.1學(xué)生整體課堂專注度占比分析

學(xué)生的專注度可以較為直觀地說(shuō)明學(xué)生的聽(tīng)課狀態(tài)和效果。首先，將線上授課的視頻分別截取為每10分鐘為一單位的子視頻，在每一單元的視頻中，將“專注”與“走神”所占的比例來(lái)反映一段時(shí)間內(nèi)學(xué)生的“專注”與“走神”程度，如圖5所示。

通過(guò)計(jì)算所得學(xué)生的“專注”與“走神”兩類表情的占比，可以在一定程度上對(duì)課堂中學(xué)生的“專注”程度做出大致的判斷。經(jīng)過(guò)多次實(shí)驗(yàn)和查看相關(guān)文獻(xiàn)，并結(jié)合對(duì)課堂視頻的人為分析結(jié)果，可以得出以下規(guī)律公式：

在公式（5）中，a表示學(xué)生的專注度。對(duì)于一般的線上課堂，當(dāng)班級(jí)整體專注度低于0.5時(shí)，學(xué)生的課堂專注度較差：當(dāng)專注度在0.5～0.7時(shí)，學(xué)生的課堂專注度良好：而當(dāng)專注度高于0.7時(shí)，學(xué)生整體通常表現(xiàn)得十分專注。

從圖5可以看出，在上課開(kāi)始10分鐘左右以及30分鐘左右這一時(shí)間段中，學(xué)生整體專注度偏高，而在20分鐘左右的時(shí)間段中，可以看出“走神”的比例明顯大于“專注”的比例。至此，可以得出整節(jié)課的學(xué)生“專注”與“走神”程度在各個(gè)時(shí)間段內(nèi)的分布情況。例如，在20分鐘左右的日寸間段中，學(xué)生因線上授課缺乏交流溝通導(dǎo)致專注度降低，教師可以在此時(shí)間段安排學(xué)生進(jìn)行小組內(nèi)交流或者參加一些與課堂相關(guān)的趣味游戲來(lái)調(diào)動(dòng)學(xué)生的專注度，在后面的時(shí)間段中可以通過(guò)提問(wèn)等方式使學(xué)生更加集中注意力，以提升學(xué)生的課堂專注度。

6.1.2學(xué)生個(gè)體課堂專注度占比分析

針對(duì)學(xué)生個(gè)體課堂專注度占比的分析，以上圖4中的女生為例，將線上授課的視頻分別截取為每10分鐘為一單位的子視頻，在每一單元的視頻中，用“專注”與“走神”所占的比例來(lái)反映一段時(shí)間內(nèi)學(xué)生個(gè)體的“專注”與“走神”程度，如圖6所示。

通過(guò)計(jì)算所得學(xué)生的“專注”與“走神”兩類表情的占比，可以在一定程度上對(duì)課堂中學(xué)生的專注度做出大致判斷。結(jié)合規(guī)律公式（5），當(dāng)學(xué)生個(gè)體專注度低于0.5時(shí)，學(xué)生的課堂專注度較差：當(dāng)專注度在0.5～0.7時(shí)，學(xué)生的課堂專注度良好：而當(dāng)專注度高于0.7時(shí)，學(xué)生整體通常表現(xiàn)得十分專注。

由圖6可知，該女生整體課堂表現(xiàn)得比較專注，只是在20分鐘與40分鐘之間的時(shí)候?qū)Ｗ⒄急扔兴陆?，而在課程的后半段專注度又呈上升趨勢(shì)。經(jīng)過(guò)實(shí)驗(yàn)分析，學(xué)生的專注區(qū)間類別大致分為三類，一類是學(xué)生剛開(kāi)始上課時(shí)較為積極，而隨著課堂時(shí)間的推移，專注度有所下降。二類是慢熱型學(xué)生在課堂開(kāi)始階段并不是很專注，但是隨著時(shí)間的推移，慢慢變得有興趣。三類是學(xué)生在課堂中間階段比較積極，而在課堂開(kāi)始與結(jié)束時(shí)卻積極性不高。由此可知，針對(duì)不同學(xué)生的專注度可以做不同的調(diào)整。例如，教師可以在不同的時(shí)間段穿插興趣活動(dòng)，或者分組使不同類型的學(xué)生結(jié)合起來(lái)達(dá)到提升專注度的效果。

6.2線上課堂專注度趨勢(shì)分析

根據(jù)線上課堂學(xué)生“專注”與“走神”的時(shí)間統(tǒng)計(jì)結(jié)果，首先將線上授課視頻分別截取為每10分鐘為一單位的子視頻，在每一個(gè)子視頻的時(shí)間段中，用專注度趨勢(shì)來(lái)反映整節(jié)課堂學(xué)生專注度的走勢(shì)。如圖7所示，橫坐標(biāo)表示每10分鐘為一時(shí)間段，縱坐標(biāo)表示“專注”表情的比例。

從圖7可以看出，在課堂剛開(kāi)始階段，學(xué)生的專注度呈上升趨勢(shì)：在15分鐘至30分鐘時(shí)增長(zhǎng)較為平緩：35分鐘左右此趨勢(shì)到達(dá)頂峰：在35分鐘之后，學(xué)生專注度則明顯有下降趨勢(shì)：在即將下課的末尾階段，學(xué)生專注度下降的趨勢(shì)變得較為平緩。由此，可以判斷學(xué)生的專注度在一定時(shí)間內(nèi)是變化的。

教師可以根據(jù)此研究結(jié)果在講授知識(shí)難點(diǎn)與授課方式方面進(jìn)行改進(jìn)。例如，將知識(shí)難點(diǎn)講授著重放在課程的前半段左右，而在課程的后半段則利用較為活躍的授課方式與知識(shí)點(diǎn)相結(jié)合，給學(xué)生良好的上課體驗(yàn)。而在學(xué)生層面，同樣是受到上課時(shí)間疲勞等因素的影響，在課程的后半段可根據(jù)自身?xiàng)l件做出調(diào)整。例如，改變學(xué)習(xí)方法或者調(diào)整自我身體因素等。

7結(jié)束語(yǔ)

隨著5G與人工智能、計(jì)算機(jī)視覺(jué)等先進(jìn)技術(shù)與教育的深度融合，通過(guò)學(xué)生線上課堂表情識(shí)別可有效判斷學(xué)生課堂專注度。本文提出了一種基于眼睛特征提取的線上教學(xué)環(huán)境下學(xué)生“專注”與“走神”兩類表情檢測(cè)的方法，采用眼部特征點(diǎn)進(jìn)行表情檢測(cè)，優(yōu)點(diǎn)是數(shù)據(jù)量小、計(jì)算速度快。而且，時(shí)間統(tǒng)計(jì)同樣滿足誤差需求。針對(duì)線上課堂，從學(xué)生“專注”占比程度與“專注”趨勢(shì)兩個(gè)維度做出評(píng)價(jià)，不僅有助于教師獲取實(shí)時(shí)精準(zhǔn)的教學(xué)反饋，及時(shí)改進(jìn)教學(xué)策略，還能提高課堂教學(xué)質(zhì)量，為教育領(lǐng)域提供技術(shù)支持與依據(jù)。在未來(lái)的研究工作中，可結(jié)合視線偏移，設(shè)定眨眼時(shí)間閾值以及將多種面部特征進(jìn)行融合，進(jìn)一步提高表情識(shí)別的準(zhǔn)確率以及完善線上課堂教學(xué)質(zhì)量評(píng)價(jià)體系。